发布时间:2026-08-04 | 栏目:算力产品 | 作者:灯凛科技机房运营组

硬件配置与网络
首批算力池部署在深圳液冷机房,单机8卡,卡型为24G显存的推理加速卡,单机配2颗32核处理器、512G内存、8T NVMe本地盘。节点间采用25G RDMA互联,机内GPU通过NVLink桥接,适合单机多卡的模型并行推理。
镜像环境预装CUDA 12.4、PyTorch 2.3、vLLM与TensorRT-LLM,客户可使用平台提供的公共镜像,也可以上传自有镜像,单镜像大小上限30G。
计费方式与价格
单卡按小时计费38元起,按天计费680元,按月计费12800元;8卡整机按天计费4980元。抢占式实例价格更低但可能被回收,独占实例价格上浮约20%但资源锁定。存储按0.35元/GB/月单独计费,公网带宽默认10M,可升至100M。
平台提供按秒计费的测试额度,新注册用户可申请8卡时的免费试用,用于验证环境兼容性与推理性能。
典型用途
当前客户主要集中在三个方向:大模型API的推理服务部署、短视频与电商素材的批量生成、以及工业质检与OCR类模型的训练微调。对于7B参数级模型,单卡24G显存可承载INT8量化后的推理,并发在30路左右;70B级模型需要4卡以上并行。
