DeepSeek 671B 这类超大模型对显存容量和带宽的要求远高于普通 70B 模型。8 卡 H20 96G 单机提供 768GB HBM3 显存和约 32TB/s 聚合带宽,是国内合规算力下常见的 671B 量化推理平台。
参考配置:GPU 8 × NVIDIA H20 96GB HBM3;CPU 2 × Intel Xeon Platinum 8592+(64 核)或 AMD EPYC 9654(96 核);内存 2TB DDR5-5600 ECC;系统盘 2 × 1.92TB NVMe RAID1;数据盘 4 × 3.84TB NVMe;网络 8 × 200G/400G RoCE + 2 × 25G Ethernet;电源 4 × 2.4kW 80Plus Titanium(2+2 冗余);机箱 8U GPU 服务器。
服务器功能:H20 单卡 96GB HBM3、4.0TB/s 带宽和 900GB/s NVLink,8 卡可组成统一显存池。它的 FP8/INT8 算力低于 H100,但显存容量和带宽更适合显存受限的超大模型推理,尤其是 DeepSeek 671B 的 FP8/INT8 量化部署。
软件与并发:推理侧可选用 vLLM、SGLang、TensorRT-LLM 或 DeepSeek 官方推理框架,结合张量并行、PagedAttention、KV Cache 量化和前缀缓存。实际并发数取决于上下文长度、量化方式、KV Cache 占用和业务 RAG 链路,建议用真实请求做压测。
适用场景:DeepSeek R1/V3 671B 私有化推理、企业知识库、RAG 检索增强、AI 客服、代码助手、文档分析、多部门共享 AI 平台。对于数据不出内网、需要合规采购的客户,H20 整机是常见的落地形态。
选型建议:如果主要是 7B–70B 模型,8 卡 H20 会有显存冗余,可评估 L20、L40S 或 RTX PRO 6000;如果目标就是 671B 满血/量化版,优先确认模型版本、量化精度、上下文长度和并发指标,再决定 8 卡还是多机。
佰嘉讯可提供 H20 整机选型、DeepSeek 部署环境建议、显存与并发评估、整机装配、烤机测试和本地交付。具体配置和交期以项目确认为准。