AI训练及GPU显卡该怎么选择

崎山小鹿

随着人工智能的快速发展，随之而来的是算力需求的指数级增加，CPU已经无法满足深度学习、大模型计算等场景的海量数据处理需求。而GPU作为一种强大的计算工具，在高性能计算、图形渲染和机器学习领域都展现出了巨大的潜力和应用前景。

NVIDIA常见的三大产品线如下：
GeForce类型: GeForce系列是NVIDIA面向个人计算和游戏市场推出的产品线，适用于游戏、图形处理等，并且在深度学习上的表现也非常出色，很多人用来做推理、训练，性价比高。例如目前非常热门的4090、3090等型号。

Quadro类型uadro系列是NVIDIA专为专业工作站和专业图像应用开发的产品线，比如设计、建筑等，是图像处理专业显卡，满足专业用户对精确图形处理和计算的需求。

Tesla类型: Tesla系列显卡是NVIDIA针对高性能计算和人工智能领域推出的产品线，被广泛应用于科学计算、深度学习、大规模数据分析等领域。Tesla显卡采用GPU加速计算，具备强大的并行计算能力和高性能计算效率，我们常说的A100、A800、V100、T4、P40等都属于Tesla系列的显卡。

选择GPU

在选择显卡时，通常需要根据具体的使用场景来选择合适的GPU显卡，综合考虑显卡的性能、显存等因素。

计算能力
计算能力是GPU进行并行计算的指标之一，也是GPU的核心能力。接下来带大家了解一下这些计算参数的区别以及应用上的不同。
FP16：半精度浮点数，具有较低的精度但更高的计算速度和较小的存储需求，主要用于推理。

FP32:：单精度浮点数，作为训练场景的数据格式的标准值。相对于双精度浮点数，单精度具有较低的精度但更高的计算速度和较小存储需求。主要用于机器学习和深度学习任务中。

FP64：双精度浮点数，具有较高的精度和范围，可以表示更广泛的数值范围和更精确的小数值。在科学计算、工程模拟等需要高精度计算应用中常常使用

显存容量
即显卡内存，用于存放数据模型。显卡容量的大小直接影响着能否加载和处理大规模的数据和模型。对于深度学习研究人员来说，显存越大越好。

CUDA Core

CUDA Core是NVIDIA GPU上的计算核心单元，用于执行通用的并行计算任务，是最常看到的核心类型。我们所说的CUDA Core数量，通常对应的是FP32计算单元的数量。一般来说，相同计算架构下，CUDA核心数越高，计算能力越强。

Tensor Core
Tensor Core是NVIDIA Volta架构及其后续架构（如Ampere架构）中引入的一种特殊计算单元，而这些运算正是深度学习所采用的核心计算函数。它能够大幅加速处于深度学习神经网络训练和推理运算核心的矩阵计算，并在保持超低精度损失的同时大幅提高推理吞吐效率。

人工智能 (Artificial Intelligence, AI)主要应用领域和三种形态：弱人工智能、强人工智能和超级人工智能

下图为桌面端和笔记本的天梯图


GPU 最大功耗


GPU 的价格和性能统计的每美元性能排名


共享GPU内存意味着可以将一部分系统内存分配给图形处理器（GPU）使用，这样可以让GPU在没有足够的独立显存的情况下也能处理数据。这种设计允许多个应用程序共享同一块GPU的内存资源，从而提高系统的效率和资源利用率。在Windows操作系统中，这通常涉及到将一部分物理内存（RAM）设置为“共享GPU内存”，以便当显卡的显存不足以满足所有应用程序的需求时，系统能够优先使用这部分内存。不过，需要注意的是，虽然共享内存可以被其他应用访问，但它的优先级仍然高于系统内存和其他应用，这意味着即使系统内存充足，GPU也会首先使用共享内存。此外，共享内存的带宽和时延可能会受到PCIe总线速度的限制，因此其性能可能低于专用的GPU内存


云服务器的使用
网上也有很多租用GPU的主机，这里我们以使用AutoDL为例来申请，打开 www.autodl.com/home，注册登录，后可以在算力市场选择对应的服务器

一文带你学会AI训练及推理的GPU显卡该怎么选择
买硬件服务器划算还是租云服务器划算？
2023年深度学习GPU服务器配置推荐参考（3）
AI训练显卡怎么选？性价比最高的是什么显卡？
深度学习 GPU 选购指南：哪款显卡配得上我的炼丹炉


云服务器使用
【炼丹炉】一个性价比很高的算力租用平台
Colab使用教程（超级详细版）及Colab Pro/Pro+评测
入门教程 | 使用 Colab，你可以开始利用谷歌资源搭建自己的神经网络
有什么好用的深度学习gpu云服务器平台