开源生态推理引擎
vLLM Ascend是用于在昇腾NPU上高效运行vLLM推理框架的硬件适配插件，实现了昇腾NPU与vLLM框架的无缝对接。借助MindIE Turbo昇腾通用加速套件可在昇腾NPU上实现高效大语言模型推理支持，达到更大的吞吐、更低的时延
MindIE
推理引擎
推理服务
MindIE?Service 昇腾推理服务
第三方
推理模型套件
MindIE?SD
多模态生成
多模态生成
MindIE?LLM
文本生成
文本生成
vLLM / SGLang
文本生成
文本生成
加速套件
MindIE Turbo 推理模型加速库可选
AI 框架
硬件使能
CANN 异构计算架构
MindStudio
全流程工具链
开源生态推理引擎
vLLM Ascend是用于在昇腾NPU上高效运行vLLM推理框架的硬件适配插件，实现了昇腾NPU与vLLM框架的无缝对接。借助MindIE Turbo昇腾通用加速套件可在昇腾NPU上实现高效大语言模型推理支持，达到更大的吞吐、更低的时延
MindIE
推理引擎
推理服务
MindIE?Service 昇腾推理服务
第三方
推理模型套件
MindIE?SD
多模态生成
多模态生成
MindIE?LLM
文本生成
文本生成
vLLM / SGLang
文本生成
文本生成
加速套件
MindIE Turbo 推理模型加速库可选
AI 框架
硬件使能
CANN 异构计算架构
MindStudio
全流程工具链
开发资源
安装资源
开源生态推理引擎资源获取
通过Dockerfile文件构建镜像，准备具体模型运行所需的基础环境，包括CANN、FrameworkPTAdapter、MindIE Turbo、vLLM和vLLM Ascend，可实现模型快速上手推理，镜像制作可以参考“镜像制作指导”
模型列表
上手开发
拓展资源
ModelZoo
满足商用标准的一站式昇腾大模型服务平台
魔乐社区（MindIE）
提供丰富的资源，涵盖AI模型推理、优化和应用的最佳实践
vLLM Ascend
昇腾通过vLLM Ascend插件适配vLLM开源框架
Deepseek专区
昇腾已支持DeepSeek系列模型，更有丰富技术干货，欢迎体验
昇腾学习
打造人工智能学习平台，做你的技术加油站
博客
技术沉淀，经验分享，记录思考与成长