数据中心 GPU 怎么选：训练、推理与显存

选数据中心 GPU，最容易犯的错是只比较型号的「档次」。更可靠的顺序是：先确定用途，再看显存，再看卡的形态，最后核对机房和软件条件。

一、先看用途

• 大模型训练：最看重显存容量、显存带宽和多卡之间的互联带宽，通常需要 8 卡甚至多机集群。
• 推理：首先要能把模型装进显存，其次看单卡功耗、并发能力和每台服务器能放几张卡。
• 图形渲染与工作站：看专业驱动支持、显存容量和单卡功耗。

二、显存类型：HBM 与 GDDR

A100、H100、H200、H20 等使用 HBM 显存，带宽高，适合训练和大模型推理；L20、L40S、L4 以及 RTX 系列使用 GDDR 显存，成本和功耗较低，适合推理、图形和中小规模任务。

三、卡的形态：SXM 与 PCIe

• SXM 模组：以 HGX 8 卡模组的形式装在专用服务器里，卡间通过 NVLink / NVSwitch 全互联，适合多卡训练。
• PCIe 卡：插在标准服务器上，部署灵活，卡间通信主要经过 PCIe，部分型号支持 NVLink 桥接。

四、选型前要确认的几件事

• 服务器的供电和散热：单卡 300W 以上的卡需要对应的机箱、电源和风道。
• 主板的 PCIe 代际和插槽数量。
• 驱动、CUDA 版本与所用框架是否匹配。
• 进出口管制要求：部分型号的供货与使用受管制，询价时请说明用途和交付地。

把用途、模型规模、预计并发量和现有服务器型号发给我们，可以帮您核对配置并给出报价。