全本地化实战
覆盖模型部署、推理、微调、评估与优化，形成完整本地化闭环。
Course Overview
掌握本地化大模型部署、推理优化与微调落地能力
课程通过系统化实战教学，帮助学员掌握从模型本地部署、推理优化，到使用 LLaMA-Factory 进行全流程微调的完整技能栈，最终能够独立实现生产级本地大模型定制与应用。
三天内容从 Ollama 与 vLLM 部署开始，进入 Transformer、注意力机制、RLHF、LoRA 和 SFT 微调，再扩展到预训练、奖励模型、DPO、Qwen 推理模型和 Qwen2.5-VL 多模态微调。
01
本地部署与推理服务
使用 Ollama、vLLM、OpenWebUI、Hugging Face 和 ModelScope 管理模型资源并构建 API 服务。
02
微调原理与训练流程
理解 Transformer、RLHF、Fine-tuning、LoRA 和 SFT，完成数据准备、训练、评估和导出。
03
进阶定制与多模态
掌握预训练、奖励模型、DPO、Qwen3 推理模型和 Qwen2.5-VL 多模态微调。
Course Features
课程特色：全本地化实战与工业化微调工具链
课程覆盖部署、推理、微调、评估、量化和多模态定制，把大模型能力从“能运行”推进到“可训练、可优化、可落地”。
高性能推理
通过 vLLM 构建 DeepSeek-R1、Qwen3 和嵌入模型的本地 API 服务。
工业化微调
基于 LLaMA-Factory 与 LoRA，掌握可复用的 SFT、评估、导出和量化流程。
多场景覆盖
支持文本模型、推理模型、多模态模型和企业级本地定制应用。
Target Audience
适合希望掌握本地化大模型定制能力的技术团队
课程面向 AI 工程师、算法研究员、全栈开发者，以及需要把大模型部署到本地环境并进行定制微调的团队。
AI 工程师
需要掌握本地模型部署、推理服务和微调交付流程。
算法研究员
关注 Transformer、RLHF、LoRA、SFT、DPO 和评估方法。
全栈开发者
希望把本地模型接入 API 服务、OpenWebUI 和业务系统。
技术团队
需要形成企业级本地化大模型定制、量化和部署能力。
Skill Outcomes
学完后能够掌握的关键能力
能力目标覆盖模型资源获取、本地部署、推理服务、核心原理、LoRA 微调、量化、DPO、多模态和 WebUI 管理。
Ollama 本地管理
安装 Ollama、配置常用参数并管理本地大模型。
模型资源获取
使用 Hugging Face 与 ModelScope 获取模型资源和数据基础。
vLLM 推理服务
准备推理环境，部署 DeepSeek-R1、Qwen3 和嵌入模型 API 服务。
大模型原理
理解训练过程、注意力机制、Transformer、GPT 和 RLHF 思想。
LoRA 微调
掌握轻量化微调概念、低秩适应原理、微调流程和数据需求。
LLaMA-Factory
安装框架、搭建微调环境、下载基座模型并完成训练测试。
SFT 数据规范
准备 Identity 数据集，理解 Alpaca、ShareGPT、OpenAI 格式规范。
评估与导出
完成通用能力评估、NLG 评估、自定义评估和 LoRA 模型导出。
量化部署
理解量化机制，实现模型微调量化、导出量化和 Ollama 支持转换。
进阶微调
掌握预训练、奖励模型、RLHF、DPO 微调和推理测试。
推理模型定制
使用 Qwen3 推理模型进行 SFT 微调、模型合并和推理测试。
多模态微调
基于 Qwen2.5-VL 构建血清图片识别数据集并完成训练、评估和导出。
3-Day Journey
三天内容按“部署、微调、进阶定制”推进
先让模型在本地跑起来，再完成 SFT 微调闭环，最后进入预训练、DPO、推理模型和多模态模型定制。
本地大模型部署与推理优化
掌握 Ollama 与 vLLM 的部署配置，实现多模型本地管理、模型推理和 API 服务。
- Ollama 安装、参数配置和本地模型管理。
- Hugging Face、ModelScope 模型资源获取。
- vLLM 推理环境、DeepSeek-R1、Qwen3、嵌入模型 API 服务和 OpenWebUI。
LLaMA-Factory 基础微调全流程
完成从微调环境、数据集准备、SFT 训练到评估、导出和量化部署的完整闭环。
- LLaMA-Factory 安装、基座模型下载和微调环境搭建。
- Alpaca、ShareGPT、OpenAI 格式数据集准备与转换。
- SFT、超参数调优、模型评估、LoRA 导出、Ollama 转换和量化。
进阶微调技术与多模态应用
深入预训练、奖励模型、DPO、Qwen 推理模型和 Qwen2.5-VL 多模态定制。
- 预训练数据集准备、预训练实现和推理测试。
- 奖励模型、RLHF、DPO 微调、模型评估和导出。
- Qwen3 推理模型、Qwen2.5-VL 多模态微调和 WebUI 管理。
Full Curriculum
完整课程大纲
三天课程沿着企业本地化大模型应用的技术路径展开，并拆分为部署推理、模型原理、基础微调、量化部署、进阶微调和多模态应用等模块。
Day 1
Ollama、vLLM 部署和本地大模型应用
搭建本地模型管理和高性能推理服务基础。
Ollama 本地管理
- Ollama 简介
- 安装和常用参数配置
- 管理本地大模型
模型资源
- Hugging Face 简介和基本使用
- ModelScope 魔塔社区简介和基本使用
- 模型下载与资源选择
vLLM 推理
- 租用算力服务器
- 使用 vLLM 实现模型推理
- 部署 DeepSeek-R1、Qwen3 和嵌入模型 API 服务
- OpenAI 方式调用模型推理
Day 1
大模型核心技术原理
理解训练、推理、Transformer、RLHF 和微调方法。
模型基础
- 理解大模型原理基础
- 大模型是如何训练的
- 注意力机制
- Transformer 架构
生成与强化
- 生成语言基础模型 GPT
- 强化学习 RLHF 流程与思想
- 模型推理与对齐概念
微调方法
- Fine-tuning 模型微调
- 微调的具体方法
- 轻量化微调概念
- LoRA 工作原理和流程
Day 2
LLaMA-Factory 微调基础
完成框架安装、环境搭建、基座模型下载和数据集准备。
框架环境
- LLaMA-Factory 框架简介
- 安装框架并搭建微调环境
- 基座模型下载
数据准备
- 数据集准备
- Identity.json 认知数据集
- 下载和转换数据集 SFT
- Alpaca、ShareGPT、OpenAI 格式规范
训练启动
- 什么是 SFT
- 命令介绍
- 开始训练
- 使用训练模型进行聊天测试
Day 2
评估、导出与量化部署
掌握训练调优、模型评估、LoRA 导出和轻量化部署。
训练调优
- 模型训练超参数调优
- 动态合并模型
- 聊天测试与效果观察
模型评估
- 通用能力评估
- NLG 评估
- 自定义评估
- 余弦相似度语义匹配
导出量化
- 导出 LoRA 模型
- 导出模型转成 Ollama 支持
- 理解量化机制和方法
- 实现微调量化和导出量化
Day 3
预训练、奖励模型与 DPO
进入更高级的模型微调策略和对齐训练。
预训练
- 理解和实现模型微调：预训练
- 准备预训练数据集
- 实现预训练
- 推理测试
奖励模型
- LLaMA-Factory 实现奖励模型微调
- LLaMA-Factory 基于 RLHF
- 下载和整理数据集
DPO 微调
- DPO 微调
- DPO 推理
- 模型评估和导出
Day 3
Qwen 推理模型与多模态微调
完成推理模型和视觉语言模型的定制化微调。
Qwen3 推理模型
- 使用 Qwen3 实现推理模型 SFT 微调
- 下载 Qwen3 推理模型
- 转换和准备推理模型数据集
- SFT 微调、模型合并和推理测试
多模态模型
- 理解多模态模型 SFT 实现
- Qwen2.5-VL-7B-Instruct 下载
- 构建血清图片识别微调数据集
- 实现 SFT 微调
WebUI 管理
- 模型推理、评估和导出
- LLaMA-Factory 接口调用
- 一站式 WebUI Board 使用
- 模型配置、推理、训练、评估和导出
Project Delivery
项目实战与最终交付
课程强调即学即用，每个阶段都形成可演示成果，最终完成从数据准备到模型落地的全链路项目。
本地模型推理服务
完成本地模型管理、推理环境和 API 服务搭建，让模型可被业务系统调用。
- Ollama 本地模型管理。
- vLLM 部署 DeepSeek-R1、Qwen3 和嵌入模型。
- OpenWebUI 下载、安装和交互体验。
LLaMA-Factory SFT 微调项目
完成基座模型、数据集、训练、聊天测试、评估、导出和量化的完整闭环。
- Identity 数据集和 SFT 数据格式转换。
- 训练命令、超参数调优和模型评估。
- LoRA 导出、Ollama 支持转换和量化部署。
进阶对齐微调项目
通过预训练、奖励模型和 DPO 微调，理解更完整的模型对齐训练链路。
- 预训练数据集准备和推理测试。
- 奖励模型微调和 RLHF 思想落地。
- DPO 微调、推理、评估和导出。
多模态模型定制项目
使用 Qwen2.5-VL 完成多模态场景定制，让模型具备视觉理解任务能力。
- Qwen2.5-VL-7B-Instruct 下载。
- 血清图片识别多模态微调数据集构建。
- 模型推理、评估、导出和 WebUI 管理。
Final Outcomes
结课后沉淀的能力与成果
课程帮助学员形成面向企业本地化大模型应用的部署、训练、评估和交付能力。
本地部署能力
能够使用 Ollama、vLLM 和 OpenWebUI 构建本地模型运行环境。
微调训练能力
能够使用 LLaMA-Factory 完成 SFT、LoRA、评估、导出和量化。
进阶定制能力
理解预训练、奖励模型、RLHF、DPO 和推理模型微调。
多模态落地能力
能够针对图像理解类任务完成视觉语言模型的定制微调。