当前开放卡型
以下为可交付系列。配置、货期与机柜电力按任务单确认,价格面议 —— 不要按公有云的按小时价反推整机账。
Nvidia H200 / H100 / H20
长上下文、多机并行、要把功耗跑满的训练集群。默认贵阳交付,配套 IB 与高电机柜。
- H200 · 141GB HBM3e,长上下文推理与大规模训练
- H100 · 80GB HBM3,Transformer Engine
- H20 按库存与出口口径询货
- 电信 50M 起步 · 1 个公网 IP
PRO 6000 / 6000D
单卡大模型推理与 LoRA 微调。显存够用时,不必一上来就租 H 卡。
- 96GB / 84GB GDDR7 ECC 专业卡
- 适合推理、微调、TokenHub 本地模型打底
- 可与 AI 推理软件同卡部署
- 训练高峰建议拆到 H 系列排队
GeForce 5090 / 4090
高性价比推理、评测和开发测试。可拼多卡柜,但不作为生产训练的默认方案。
- 适合 Demo、对照实验、短周期微调
- 可拼多卡,适配高电机柜
- 3080 Ti / 3090 Ti 存量可询
- ECC、驱动与授权按任务单写清
Nvidia A40 / A16
专业图形、桌面云与中等规模推理。适合多实例切分,而不是大规模预训练。
- A40 适合专业图形与中等推理
- A16 适合虚拟化切分、多用户桌面
- 可放广州或北京,就近访问
AMD MI325X / MI300X
大显存训练的第二条路。可与 Nvidia 集群混部评估,驱动和框架需单独验收。
- 适合显存敏感、可接受 ROCm 栈的团队
- 货期、互连与混部方案按单确认
- 不默认与 CUDA 任务无缝互换
算力一体机 / DGX Spark
先在办公室或边缘侧验证,再迁到贵阳高电机柜。数据和样机可以先不出域。
- 适合保密材料、小并发、先跑通流程
- 验证完再扩卡,避免一上来租满柜
- 预装 AI 推理软件,可接 TokenHub
三种租用方式
先小规格验证,再按效果决定分时、固定卡还是整柜。
分时租用
按时段使用 GPU,适合评测、Demo、短周期 LoRA 和多模型对照。先把效果、延迟和费用跑清楚,再决定是否长租。计费周期在任务单中约定。
固定卡 / 整机月租
独占整机或固定卡,适合稳定推理、多人共用开发机。环境和数据长期保留,按月起租、可续租,具体以合同约定为准。
训练集群整柜
H 系列多机多卡 + IB 互连 + 贵阳 15 / 20 / 40kW 高电机柜,按集群规模与工期签约,适合预训练和大规模微调。
先说任务,再谈卡名
询价时请尽量说明:训练还是推理、模型规模、要不要多机、预估功耗、数据能不能出域、访问用户在哪。没有这些,任何「最低价 H100」都对不上现场。
- 大规模训练、长上下文、多机并行
- 推理、LoRA、评测,需要可控的显存和延迟
- 数据要驻留机房,或训练与访问拆在两地
- 现有卡喂不饱,需要高电机柜而不是 2–5kW 低密柜
按任务选卡,不要按参数表买满
| 任务 | 常见卡型 | 电力 / 互连 | 优先节点 | 租用方式 |
|---|---|---|---|---|
| 大规模训练 / 长上下文 | H200 / H100 / H20 | 高电机柜 + IB | 贵阳 | 整机,可谈分时 |
| 单卡推理 / LoRA | PRO 6000 / 6000D | 按卡功耗评估 | 贵阳,或就近推理节点 | 整机或固定卡 |
| 评测、Demo、短周期实验 | 5090 / 4090 | 可拼多卡柜 | 贵阳 | 分时更常见 |
| 图形、桌面云、多实例 | A40 / A16 | 托管级电力即可 | 广州 / 北京 | 整机 |
| 大显存备选 / 混部评估 | MI325X / MI300X | 按集群评估 | 贵阳 | 询货期 |
| 办公室先验证 | 算力一体机 / DGX Spark | 办公室用电 | 本地,再迁贵阳 | 购买或样机 |
选型参考,不是对所有客户的交付承诺。货期、互连和是否分时以库存为准。
机柜、网络、远程,一起交付
卡只是清单上的一行。满载先碰到电和热,多机先碰到互连,故障先碰到能不能远程处理。
高电机柜
贵阳提供 15 / 20 / 40kW 高电机柜,限电不限 U。传统 2–5kW 机柜会让多卡 GPU 降频,或把邻柜制冷吃掉。
查看贵阳数据中心IB 与 100G
按训练或推理分别配置 IB 交换与 100G 链路,梯度同步不要跑在公网拼凑的链路上。
裸金属 VNC 远程
重装、重启、救援都能远程完成,非硬件故障不必跑机房。
开箱环境
首次免费协助安装系统与常见训练、推理环境;硬件故障期间可协调备机。
训练吃电,访问吃网
贵阳负责把功耗跑满;广州、北京承接用户访问和推理 API;东莞在对外入口需要防护时加入。卡跟着任务走,而不是「每个城市都放 GPU」。
建议的起步顺序
- 01
说清任务
训练 / 推理 / 评测、模型规模、要不要多机、数据能否出域、用户在哪座城市。
- 02
小规格验证
先用分时卡、一体机或 TokenHub 额度跑通,看延迟、稳定性和费用。
- 03
电力跟上
效果稳定后迁到高电机柜或扩固定卡;训练与推理拆开,对外入口加防火墙。
- 04
长租与混部
需要持续调用再签整机;已有公有云账户可以和机房 GPU 打通在同一张网里。
常见问题
能不能只租卡、不租机柜?
可以,按整机或分时询价即可。H200 / H100 / H20、专业卡和 4090 集群主要在贵阳交付,电力与网络仍写在同一张任务单里。如果是自有设备需要上架,请看机柜租用或服务器托管。
广州、东莞、北京能放 H100 训练集群吗?
标准柜可以谈,但电力按托管口径评估,不是按训练柜设计。多卡满载的 H100 / H200 集群仍建议放贵阳;推理回到城市节点时,按实际功耗申请电力即可。
为什么价格都是面议?
卡型、货期、是否分时、要不要 IB / 100G、公网带宽和电力是一整套组合,不是货架标价。页面不写死单价,避免把某一批库存价当成对所有客户的承诺。询价时请带上任务和预估功耗。
分时和整机怎么选?
评测、Demo、短周期 LoRA 优先分时;稳定推理、多人共用、大规模训练再签整机或固定卡。一体机适合在办公室先验证。
系统环境谁来装?出故障怎么办?
首次免费协助安装系统与常见训练、推理环境。远程走裸金属 VNC,可重装、重启、救援;非硬件故障不必跑机房,硬件故障期间可协调备机。
4090 / 5090 能用于生产训练吗?
可以做实验集群和高性价比推理,但不作为大规模预训练的默认方案。ECC、驱动、授权和散热需要单独确认;需要长上下文和多机并行时,仍建议 H 系列 + IB。
算力租用和算力一体机、AI 推理软件有什么区别?
算力租用是在我们的机房按整机或分时使用 GPU;算力一体机是买回去放在你自己的机房或办公室;AI 推理软件和 TokenHub 是跑在这些 GPU 上的软件层,两种方式都可以叠加使用。