编者按：DeepSeek本地化部署成本高、GPU稀缺、校内“烟囱式”建设难以管控——高校AI落地面临多重挑战。华南理工大学提出两层云计算架构方案：校外集中化大模型共享服务+校内AI能力应用平台，广东高校无需自建即可用上本地化大模型，校内部门和个人可低门槛构建专属智能体。
DeepSeek凭借国产化和开源策略，成为推动教学、管理和科研应用的自主可控大模型。众多高校有DeepSeek专有化需求，本地化部署是最直接的方式，但现实问题不少。具体体现在四个方面：
一是部署门槛高：本地化部署面临资源要求高、安装技术复杂、运维繁琐、运行成本高，尤其是GPU稀缺。
二是模型需求多样化：对Qwen3等国产模型的需求，增加了本地化部署和运行的复杂度。
三是“烟囱式”建设：校内各部门独立建设AI应用，成本叠加，安全管控困难。
四是幻觉等安全问题：AI幻觉等安全隐患亟待解决。
这些挑战既是大模型落地路上的障碍，也恰恰是破解问题的关键切入点。
实践策略：校际、校内“两层云架构”
华南理工大学基于经验积累和技术探索，提出两层云计算架构方案：
1.第一层（校际层面）：大模型即服务
将大模型本地化部署升级为广东高校的集中化大模型云服务，依托教科网和5G专网，向广东各高校按需提供模型虚拟化服务。
0图1 大模型服务架构
华南理工大学采用先进硬件配置部署DeepSeek推理集群。为实现云服务化，推理服务还需满足三个功能：一是独立授权，主要是各高校AI应用独立API通道，确保数据安全；二是可量化，主要是支持tokens等使用量计量和统计；三是可控制：主要是可设置并发数等访问控制，按需分配性能。
实际部署采用new_api作为API网关，通过反向代理统一对外提供网络入口。推理集群由两个vLLM集群组成，部署满血版和32B版本DeepSeek大模型； API网关实现安全独立授权、使用量计量、并发数控制；反向代理提供便捷安全的访问控制。
接入高校通过广东省教科网或5G专网快速接入，每所高校如同拥有了专属虚拟专用大模型。实现数据不出广东省教科网范围，保障数据安全；各高校按需使用推理服务，通过并发数限制按需分配；高校无需自建大模型，即可实现“半本地化”部署，只需专注本校AI应用建设。
2.第二层（校内层面）：智能体/知识库即服务
为进一步降低成本、减少推理次数和消除幻觉，华南理工大学在校内建设AI能力应用平台，推出智能体即服务（AaaS）和专属知识库。
图2 AI能力应用平台架构
AI应用体系可分三层：底层模型能力层、中间平台层、顶层应用层。平台层充当AI中台——上下衔接的一层，向下调用大模型能力，向上提供智能体/知识库即服务的能力，消除“烟囱式”建设，是构建AI应用的平台。
知识库利用RAG（检索增强生成）技术，提高检索效率和准确性，显著降低幻觉问题，同时减少大模型推理次数，进一步降低调用成本。
校内AI能力应用平台形成了灵活的应用组合模式：大模型服务与前端解耦，多前端共用同一模型服务；服务透明化，师生各部门可配置个性化AI应用，按需切换模型；应用普及化，师生可低门槛开发AI应用，人人可拥有自己的智能体和知识库；需求轻量化，个性化知识库使大部分信息直接获取，降低模型推理压力；管理便捷化，统一平台运行，有利于AI应用规范管理和安全管控。
此外，该架构还支持各学科研发的小模型加入平台模型服务，便捷构建学科AI应用。
两层云架构的核心逻辑在于，大模型推理服务本质上是API服务，与前端应用松耦合——前端通过调用API访问推理服务，无需紧耦合部署。这意味着，大模型推理服务可以像云计算一样，集中化运行、虚拟化共享，各高校或校内部门只需专注部署成本较低的前端AI应用，大大降低了建设门槛。
建设成效：广东高校已用起来
集中化大模型共享服务已助力广东省多所高校解决本地化部署难题。
校外：韩山师范学院、南方医科大学等省内高校通过API调用实现校内AI服务，只需安装前端即可使用，快速实现了DeepSeek的应用落地。
校内：DeepSeek助力师生完成复杂课题推理、论文润色等任务；校内各部门通过建立知识库（课程知识、学术资源等），开发定制化智能体，支持模型切换协同。校内AI能力应用平台形成了灵活的应用组合模式。比如“智能体+校级知识库=校级AI应用”“智能体+部门知识库=部门AI应用”“ 智能体+小组知识库=小组AI应用”和“ 智能体+个人知识库=个人AI应用”。
此外，在安全与稳定性上，实现数据零泄露与100%本地化存储（省内高校）。同时，vLLM集群和API网关通过动态资源调度应对高并发，通过并发数限制实现资源的有效分发和控制。
结语：走出高校AI落地可复用路径
在华南理工大学的“两层云架构”破解高校AI落地难题的实践中，平台采用统一平台、统一域名、统一入口，与学校统一认证系统对接，有效管控AI应用，提升安全性；知识库体系也实现了进一步解耦，建立起校级知识库、学科知识库、部处/院系知识库和个人知识库，搭配行业公共知识库，实现知识库即服务的便捷应用。
两层云架构的核心逻辑是“专业的人做专业的事”——大模型推理集中运维，前端应用分散创新。这一模式既解决了大模型本地化部署的高成本问题，也化解了校内AI应用分散建设、管理困难的困局，为高校AI应用的快速普及提供了可复用的路径。
本文核心观点源于《中国教育网络》杂志2025年7月刊《华南理工大学推动AI应用落地方案》。作者：黄建波 陆以勤 潘伟锵 邓国强（华南理工大学信息网络工程研究中心） 责编：余秀。
京公网安备 11040202430174号
![京网文[2017]10376-1180号](/images/indexnew/www1024.jpg){kind=link}