上海交通大学多个课题组需要一套可共享、易维护的 AI 算力平台,既要满足大模型推理与微调,也要兼顾图形计算和科研数据处理。我们根据模型参数规模、并发人数、存储吞吐和机房条件,完成 RTX PRO 6000 96G AI 服务器的选型与整机交付。
RTX PRO 6000 96GB 高显存设计,可承载更大参数规模模型的推理、长上下文处理与多任务并行,减少模型切分和显存溢出带来的复杂度。单机多卡架构便于统一调度,适合高校实验室多用户、多项目共享使用。
交付内容包括整机装配、供电与散热规划、驱动和 CUDA 环境部署、容器化运行环境建议、整机烤机与稳定性测试。平台上线后可支撑大模型推理、模型微调、多模态实验和图形渲染等多种科研任务。
