tencent cloud

腾讯云 TI 平台

产品简介
产品概述
产品定价
客户价值
应用场景
购买指南
计费概述
购买方式
续费说明
欠费说明
安全合规
数据安全保护机制
监控、审计与日志
安全合规资质
快速入门
平台使用准备
操作指南
大模型广场
任务式建模
开发机
模型管理
模型评测
在线服务
资源组管理
数据源管理
Tikit
GPU 虚拟化
实践教程
LLM 部署及推理
LLM 训练及评测
内置训练镜像列表
自定义训练镜像规范
Angel 训练加速功能介绍
基于标签实现子用户间资源隔离
相关协议
TI Platform 隐私协议
TI Platform 数据处理和安全协议
开源软件信息
联系我们
文档腾讯云 TI 平台

大模型推理所需资源指南

聚焦模式
字号
最后更新时间: 2025-08-14 11:37:30
本文旨在介绍 TI-ONE 平台进行大模型推理时,可保障模型正常运行的配置资源,仅供您参考。

内置大模型的推理资源指南

注意:
1. 各机型库存及价格请前往 CVM 控制台 查看,可参考 CVM-实例创建指引。其中 PNV6/HCCPNV6 机型需联系您所对接的腾讯云销售进行开通和购买
2. 在部署 DeepSeek V3 或 R1 模型时,如仅需低并发体验,可使用单节点部署;如果您对推理性能以及上下文长度有较高要求,且算力资源充足,推荐使用至少2节点部署。
3. 下表的推理资源配置略小于 CVM 实例配置,是因为 TI 平台管理 CVM 机器时将占用少量资源。例如:某 CVM 实例规格包含 128核,添加至资源组后的可用资源为125.6核。
内置大模型
模型清单
推理资源推荐
机器来源:从 CVM 机器中选择(包年包月)
机器来源:从 TIONE 平台购买(按量计费)
Hunyuan-Large
hunyuan-large-chat
部署方式:标准部署(开 nf4 量化)
【推荐配置1】
CVM 实例规格:PNV6.96XLARGE2304
CVM 实例配置:384C2304GB 8卡
推理资源配置:380C2214GB 8卡
【推荐配置2】
CVM 实例规格:HCCPNV4h.48XLARGE1024
CVM 实例配置:192核1024GB 8卡A100
推理资源配置: 189核980GB 8卡A100
DeepSeek 系列模型
DeepSeek-V3
【单节点】
CVM 实例规格:PNV6.32XLARGE1280
CVM 实例配置:128C1280GB 8卡
部署方式:标准部署
推理资源配置:125C1207GB 8卡
【多节点】
CVM 实例规格:HCCPNV6.96XLARGE2304
CVM 实例配置:384C2304GB 8卡
部署方式:多机分布式部署
节点数量:2个
推理资源配置(每节点):380C2214GB 8卡
部署方式:标准部署
算力规格:128C1280GB GPU*8(PNV6.32XLARGE1280)
DeepSeek-R1
【单节点】
CVM 实例规格:PNV6.32XLARGE1280
CVM 实例配置:128C1280GB 8卡
部署方式:标准部署
推理资源配置:125C1207GB 8卡
【多节点】
CVM 实例规格:HCCPNV6.96XLARGE2304
CVM 实例配置:384C2304GB 8卡
部署方式:多机分布式部署
节点数量:2个
推理资源配置(每节点):380C2214GB 8卡
部署方式:标准部署
算力规格:128C1280GB GPU*8(PNV6.32XLARGE1280)
DeepSeek-R1-Distill-Qwen-1.5B
CVM 实例规格:GNV4.3XLARGE44
CVM 实例配置:12C44GB 1卡A10
部署方式:标准部署
推理资源配置:11C35GB 1卡A10
部署方式:标准部署
算力规格:12C44GB 1卡A10
DeepSeek-R1-Distill-Qwen-7B
CVM 实例规格:GNV4.3XLARGE44
CVM 实例配置:12C44GB 1卡A10
部署方式:标准部署
推理资源配置:11C35GB 1卡A10
部署方式:标准部署
算力规格:12C44GB 1卡A10
DeepSeek-R1-Distill-Llama-8B
CVM 实例规格:GNV4.3XLARGE44
CVM 实例配置:12C44GB 1卡A10
部署方式:标准部署
推理资源配置:11C35GB 1卡A10
部署方式:标准部署
算力规格:12C44GB 1卡A10
DeepSeek-R1-Distill-Qwen-14B
【推荐配置1】
CVM 实例规格:PNV6.4XLARGE160
CVM 实例配置:16C160GB 1卡GPU
推理资源配置:15C144GB 1卡GPU
【推荐配置2】
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
【推荐配置1】
部署方式:标准部署
算力规格:16C160GB GPU*1(PNV6.4XLARGE160)
【推荐配置2】
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
DeepSeek-R1-Distill-Qwen-32B
【推荐配置1】
CVM 实例规格:PNV6.4XLARGE160
CVM 实例配置:16C160GB 1卡
推理资源配置:15C144GB 1卡
【推荐配置2】
CVM 实例规格:PNV5b.16XLARGE192
CVM 实例配置:64C192GB 2卡PNV5b
推理资源配置:62C172GB 2卡PNV5b
部署方式:标准部署
【推荐配置1】
部署方式:标准部署
算力规格:16C160GB GPU*1(PNV6.4XLARGE160)
【推荐配置2】
部署方式:标准部署
算力规格:64C192GB 2卡PNV5b
DeepSeek-R1-Distill-Llama-70B
【推荐配置1】
CVM 实例规格:PNV6.8XLARGE320
CVM 实例配置1:32C320GB 2卡GPU
推理资源配置:31C290GB 2卡GPU
【推荐配置2】
CVM 实例规格:PNV5b.32XLARGE384
CVM 实例配置:128C384GB 4卡PNV5b
推理资源配置:125C350GB 4卡PNV5b
部署方式:标准部署
【推荐配置1】
部署方式:标准部署
算力规格:32C320GB GPU*2(PNV6.8XLARGE320)
【推荐配置2】
部署方式:标准部署
算力规格:128C384GB 4卡PNV5b
Llama3.2 系列模型
llama-3.2-1b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.2-1b
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.2-3b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.2-3b
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.2-11b-vision-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
llama-3.2-90b-vision-chat
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
Llama3.1 系列模型
llama-3.1-8b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.1-70b-chat
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
llama-3.1-8b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3.1-70b-base
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
Llama3 系列模型
llama-3-8b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3-70b-chat
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
llama-3-8b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-3-70b-base
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
Llama2 系列模型
llama-2-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-2-13b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
llama-2-70b-chat
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
llama-2-7b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
llama-2-13b-base
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
llama-2-70b-base
CVM 实例规格:PNV5b.64XLARGE768
CVM 实例配置:256C768GB 8卡PNV5b
推理资源配置: 250C688GB 8卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:256C768GB 8卡PNV5b
Baichuan2 系列模型
baichuan2-7b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
baichuan2-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
baichuan2-13b-base
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
baichuan2-13b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Chatglm 系列模型
chatglm3-6b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
Qwen系列模型
qwen-14b-base
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
qwen-14b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Bloom 系列模型
bloom-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
bloomz-7b1-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
bloom-1b1-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
bloom-3b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
bloomz-3b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
金融行业大模型
jinrong-13b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
汽车行业大模型
qiche-13b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Baichuan1 系列模型
baichuan-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
baichuan-13b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Dolly 系列模型
dolly-v2-3b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
dolly-v2-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
dolly-v2-12b-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Vicuna 系列模型
vicuna-7b-v1.5-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
vicuna-13b-v1.5-chat
CVM 实例规格:PNV5b.8XLARGE96
CVM 实例配置:32C96GB 1卡PNV5b
推理资源配置: 30C80GB 1卡PNV5b
部署方式:标准部署
部署方式:标准部署
算力规格:32C96GB 1卡PNV5b
Falcon 系列模型
falcon-7b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
falcon-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
falcon-rw-7b-base
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10
Chinese-alpaca 系列模型
chinese-alpaca-2-7b-chat
CVM 实例规格:PNV4.7XLARGE116
CVM 实例配置:28C116GB 1卡A10
部署方式:标准部署
推理资源配置:24C96GB 1卡A10
部署方式:标准部署
算力规格:28核116GB 1卡A10




帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈