AIGC大模型部署实践

AIGC大模型部署实践

一、课程目标

本课程旨在帮助学员全面掌握从GPU硬件环境准备到主流大模型本地化部署的完整技术路径。通过系统化教学与实操演练,学员将熟悉私有云、公有云两种部署方案,掌握DeepSeek、Ollama、Dify等主流平台的安装、配置与集成方法,最终能够独立构建企业级AIGC智能体与知识问答服务系统。


二、培训对象

•  企业AI研发团队、数据与算法工程师

•  IT运维及基础架构技术人员

•  希望自建大模型平台的技术负责人或产品经理


三、培训周期

共3天(18学时),每日6学时,理论与实操结合。


四、课程大纲

第一天:GPU硬件与本地环境搭建

本日重点在于帮助学员理解AI模型部署所需的硬件条件,并完成大模型运行的基础系统环境配置。

1. GPU硬件基础与算力平台

•  本地GPU设备选型与性能评估

•  云端GPU平台类型、租用方式与成本比较

•  AIGC模型推理常见算力瓶颈及优化思路

2. 系统与环境搭建

•  在Win11系统下安装Ubuntu 22.04双系统

•  Ubuntu系统初始化与基础驱动安装

•  Docker与Conda环境的安装与依赖配置

3. 模型运行环境准备

•  本地部署Ollama平台并加载LLM模型

•  Ollama Modelfile参数结构与量化配置说明

•  本地模型测试运行与环境验证


第二天:私有云与公有云部署实践(KTransformer环境)

本日内容聚焦于私有云、公有云两种部署形态的实践演练,重点掌握DeepSeek及KTransformer的部署方法。

1. 多模型私有化部署实战

•  DeepSeek R1 + Open-WebUI多功能企业级部署流程

•  模型调用、配置及多角色对话功能实现

2. 加速与优化配置

•  安装与编译Ktransformers v0.24版本

•  部署DeepSeek-R1与V3模型

•  推理性能优化与显存占用管理技巧

3. API部署与调用

•  API服务部署流程与访问权限设置

•  跨系统API调用与多模型负载均衡方案

•  企业级API安全管控实践


第三天:Dify智能体平台实战与企业级应用

本日内容以智能体平台的本地部署与应用为主,带领学员实现从模型到企业业务场景的落地应用。

1. 平台环境搭建

•  Windows系统下Dify与Xinference环境部署与安装

•  源码方式构建Dify并实现RAG知识库搭建

2. 平台集成与本地化部署

•  DeepSeek与Dify的本地化集成

•  企业内部知识库接入与Chat服务部署

•  微信客服智能体构建流程演示

3. 实战演练与性能调优

•  从模型到业务场景的端到端构建流程

•  常见部署故障分析与排查技巧

•  部署性能监控与优化方法

课程推荐

最新课表
免费课程预约