課程簡(jiǎn)介
課程介紹提示詞工程、企業(yè)應(yīng)用場(chǎng)景、底層關(guān)鍵技術(shù)、底層架構(gòu)、預(yù)訓(xùn)練技術(shù)、微調(diào)技術(shù)以及業(yè)界企業(yè)級(jí)最佳實(shí)踐，通過對(duì)大語言模型體系化的講解和實(shí)戰(zhàn)演練，幫助學(xué)員學(xué)會(huì)理解大模型底層原理、關(guān)鍵技術(shù)、應(yīng)用場(chǎng)景并這掌握企業(yè)級(jí)應(yīng)用實(shí)踐，為企業(yè)培養(yǎng)數(shù)字化人才梯隊(duì)。
目標(biāo)收益
1、提供大語言模型知識(shí)體系，幫助學(xué)員全面了解中外前沿科技、方法工具和業(yè)內(nèi)最佳實(shí)踐；
2、通過全過程案例講解，使學(xué)員全面掌握大模型的原理和基于大模型驅(qū)動(dòng)的企業(yè)級(jí)應(yīng)用架構(gòu)設(shè)計(jì)，在邊做邊學(xué)中增強(qiáng)其解決實(shí)際問題的能力；
3、對(duì)學(xué)員的實(shí)際項(xiàng)目進(jìn)行咨詢指導(dǎo)，幫助單位完善數(shù)字化人才梯隊(duì)培養(yǎng)，助力企業(yè)融入AI浪潮；
4、為學(xué)員課后答疑和持續(xù)學(xué)習(xí)提供網(wǎng)站資源，幫助其掌握數(shù)字時(shí)代學(xué)習(xí)新理念，提升其自學(xué)的意愿和能力。
培訓(xùn)對(duì)象
希望掌握大模型底層原理、底層架構(gòu)、提示詞工程的軟件開發(fā)人員、售前工程師、在咨詢顧問及業(yè)務(wù)人員
課程大綱
|
第一天上午： 基礎(chǔ)通識(shí)篇 |
一、大模型基礎(chǔ)知識(shí)講解 （一）GPT模型前世今生 1、GPT模型是什么 2、GPT-1模型解讀 3、GPT-2模型解讀 4、GPT-3模型解讀 二、大模型底層核心原理 （一）大模型核心原理剖析 1、結(jié)構(gòu)解讀 2、自注意力 3、編解碼器 4，代碼演示 案例練習(xí)：結(jié)合工業(yè)界應(yīng)用場(chǎng)景對(duì)知識(shí)點(diǎn)進(jìn)行代入式講解，深入淺出幫助學(xué)員從道、法、術(shù)、器層面對(duì)大模型底層原理、核心技術(shù)、產(chǎn)業(yè)生態(tài)、商業(yè)應(yīng)用有一個(gè)系統(tǒng)性的認(rèn)識(shí)。 |
|
第一天下午： 基礎(chǔ)通識(shí)篇 |
一、提示詞應(yīng)用原則與使用技巧 （一）提示詞工程原則 1、主題相關(guān)性 2、確定性焦點(diǎn) 3、語義清晰度 （二）提示詞萬能公式 1、內(nèi)容前提，讓大模型知道你是誰 2、角色設(shè)定，讓大模型知道它是誰 3、目標(biāo)設(shè)定，讓大模型知道要干嘛（明確清晰的目標(biāo)指令） 4、補(bǔ)充需求，讓大模型知道關(guān)注點(diǎn)（回答需要什么形式和范圍） （三）提示詞使用技巧 1、優(yōu)化表達(dá)式 2、連續(xù)性輸出 3、提升問題質(zhì)量 4、預(yù)設(shè)回答方案 5、給定參考答案 （四）提示詞優(yōu)化方式 1、加強(qiáng)大模型的思辨分析意識(shí) 2、界定大模型的劃分范圍邊界 （五）提示詞迭代優(yōu)化 1、提示詞迭代優(yōu)化案例 （六）樣本提示 1、零樣本提示 2、小樣本提示 （七）思維鏈提示 1、文本轉(zhuǎn)化 2、零樣本思維鏈 3、多推理路徑 （八）背景知識(shí)提示 1、文本轉(zhuǎn)化 2、零樣本思維鏈 3、多推理路徑 二、提示詞應(yīng)用場(chǎng)景 （一）基礎(chǔ)應(yīng)用場(chǎng)景 1、文本總結(jié) 2、文本分類 3、文本轉(zhuǎn)化 4、文本擴(kuò)展 5、情感分析 6、內(nèi)容審核 （二）高階應(yīng)用場(chǎng)景 1、論文翻譯 2、知識(shí)問答 3、語音合成 4、數(shù)字播報(bào) 5、圖片搜索 三、提示詞應(yīng)用實(shí)踐 （一）如何運(yùn)用大模型能力進(jìn)行架構(gòu)設(shè)計(jì) 1、方案設(shè)計(jì) （二）如何運(yùn)用大模型能力實(shí)現(xiàn)知識(shí)問答 1、知識(shí)問答 （三）如何運(yùn)用大模型能力進(jìn)行數(shù)據(jù)提取 1、數(shù)據(jù)提取 案例練習(xí)：結(jié)合課程內(nèi)容進(jìn)行演示。 |
|
第二天上午： 基礎(chǔ)技術(shù)篇 |
一，F(xiàn)unctionCalling技術(shù)介紹 （一）FunctionCalling深度剖析 1、FunctionCalling應(yīng)用 2、使用GPT生成函數(shù)的參數(shù) 3、自然語言生成數(shù)據(jù)庫查詢腳本 4、FunctionCalling 穩(wěn)定性保障 二、文檔嵌入技術(shù)介紹 （一）文檔嵌入技術(shù)深度剖析 1、Embedding能夠解決什么問題 2、Embedding在大模型中的應(yīng)用 3、如何計(jì)算相似度和進(jìn)行語義搜索 4、文檔嵌入技術(shù)在知識(shí)問答中的應(yīng)用案例 5、文檔嵌入技術(shù)在審計(jì)預(yù)警中的應(yīng)用案例 三、向量數(shù)據(jù)庫技術(shù)介紹 （一）向量數(shù)據(jù)庫技術(shù)剖析 1、向量數(shù)據(jù)庫簡(jiǎn)介 2、向量數(shù)據(jù)庫應(yīng)用場(chǎng)景 3、向量數(shù)據(jù)庫底層原理 4、向量數(shù)據(jù)庫搜索算法 5、向量數(shù)據(jù)庫索引技術(shù) 四、檢索增強(qiáng)技術(shù)介紹 （一）檢索增強(qiáng)技術(shù)原理 1、檢索增強(qiáng)原理 2、檢索增強(qiáng)技術(shù) 五、企業(yè)級(jí)應(yīng)用案例 （一）知識(shí)問答系統(tǒng) （二）審計(jì)預(yù)警系統(tǒng) 案例二： 基于大模型、向量數(shù)據(jù)庫、檢索增強(qiáng)技術(shù)、搜索引擎技術(shù)，實(shí)現(xiàn)基于企業(yè)知識(shí)庫的審計(jì)預(yù)警系統(tǒng)。 |
|
第二天下午： 開發(fā)框架篇 |
一、應(yīng)用開發(fā)框架入門 （一）深入淺出LangChain之總體框架 1、LangChain框架簡(jiǎn)介 2、LangChain核心能力 3、LangChain應(yīng)用場(chǎng)景 4、LangChain核心模塊 二、應(yīng)用開發(fā)框架進(jìn)階 （一）深入淺出LangChain 之Model I/0模塊 1、底層原理講解 2、核心知識(shí)講解 3、提示模板引擎 （二）深入淺出LangChain 之Chains 1、Sequential Chain 2、Transform Chain 3、Router Chain （三）深入淺出LangChain 之Memory 1、為何LLM需要記憶 2、LLM記憶能力的實(shí)現(xiàn) 3、LangChain中常用的記憶類型 （四）深入淺出LangChain 之Retrieval 1、Retrieval 實(shí)現(xiàn)原理 2、Retrieval 代碼實(shí)現(xiàn) （五）深入淺出LangChain 之Agent 1、Agent實(shí)現(xiàn)原理 2、Agent代碼實(shí)戰(zhàn) （六）深入淺出LangChain 之Callbacks 1、Callbacks實(shí)現(xiàn)原理 2、Callbacks代碼實(shí)戰(zhàn) 三、LangChain開發(fā)框架實(shí)戰(zhàn) （一）案例：基于LangChain開發(fā)自己的論文翻譯助手 （二）案例：基于LangChain開發(fā)自己的知識(shí)問答助手 案例研討： 案例一：結(jié)合LangChain框架相關(guān)技術(shù)的應(yīng)用開發(fā)一個(gè)屬于自己的論文翻譯助手 結(jié)合LangChain框架相關(guān)技術(shù)的應(yīng)用開發(fā)一個(gè)屬于自己的知識(shí)問答系統(tǒng) |
|
第三天上午： 開發(fā)框架篇 |
一、Agent 技術(shù)介紹 （一）Agents 概述與應(yīng)用場(chǎng)景 1、Agent 設(shè)計(jì)原理 2、Agent 應(yīng)用場(chǎng)景 3、ReAct 框架解讀 （二）Agent 關(guān)鍵技術(shù) 1、Agent 計(jì)劃能力 2、Agent 行動(dòng)能力 3、Agent 工具能力 二、開源Agents 源碼解讀 （一）開源Agent 源碼解讀 1、AutoGPT項(xiàng)目定位與解決的問題 2、AutoGPT的技術(shù)方案分析 3、AutoGPT的各模塊代碼解讀 4、MetaGPT項(xiàng)目定位與解決的問題 5、MetaGPT的技術(shù)方案分析 6、MetaGPT的各模塊代碼解讀 三、開源Agents 實(shí)踐案例 （一）線路規(guī)劃師案例 |
|
第三天下午： 模型部署篇 |
一、私有化模型部署 （一）為何要部署私有化模型 1、垂直數(shù)據(jù)分布差異 2、企業(yè)私有數(shù)據(jù)安全 （二）HuggingFace開源社區(qū)使用指南 1、HuggingFace使用說明 2、HuggingFace應(yīng)用場(chǎng)景 二、私有化大模型部署實(shí)戰(zhàn) （一）常見開源大模型介紹 （二）私有化部署環(huán)境準(zhǔn)備 三、私有化部署實(shí)戰(zhàn)案例 （一）案例一：私有化部署ChatGLM-6B （二）案例二：搭建自己的智能服務(wù)助手 案例研討： 1.清華智普大模型私有化部署； 個(gè)人智能服務(wù)助手部署 |
|
第四天上午： 模型微調(diào)篇 |
一、大模型微調(diào)基礎(chǔ) （一）為何微調(diào)大模型 1、大模型先天缺陷 2、預(yù)訓(xùn)練成本高昂 3、垂直數(shù)據(jù)分布差異 4、提示推理成本限制 5、企業(yè)私有數(shù)據(jù)安全 （二）大模型微調(diào)三要素 1、微調(diào)數(shù)據(jù) 2、算法模型 3、算力資源 （三）大模型微調(diào)的方式 1、全量參數(shù)微調(diào) 2、部分參數(shù)微調(diào) 3、在線模型微調(diào) 4、離線模型微調(diào) 二、大模型微調(diào)進(jìn)階 （一）大模型指令微調(diào)技術(shù) 1、通用模型的缺點(diǎn)和指令微調(diào)的必要性 2、指令微調(diào)跟BERT時(shí)代Fine-tune之間區(qū)別 3、指令集的收集與格式化 4、指令數(shù)據(jù)集文件制作 5、訓(xùn)練模型以及評(píng)估模型 （二）大模型參數(shù)高效微調(diào)技術(shù) 1、什么是參數(shù)高效微調(diào)技術(shù) 2、Adapter Tuning 3、Prefix Tuning 4、P-Tuning 5、Prompt Tuning 6、LoRA, AdaLoRA （三）大模型內(nèi)存高效微調(diào)技術(shù) 1、理解什么Quantization 2、Mixed-precision decompostion 3、ZeroQuant, SmoothQuant 4、GPTQ, AWQ 5、QLoRA |
|
第四天下午： 微調(diào)進(jìn)階篇 |
一、大模型微調(diào)實(shí)戰(zhàn) （一）DeepSpeed框架介紹 1、DeepSpeed框架介紹 2、DeepSpeed核心模塊解讀 3、DeepSpeed分布式架構(gòu)解讀 4、ZeRO技術(shù)介紹 5、DeepSpeed部分代碼解讀 6、DeepSpeed/Megatron-LM/Colossal-AI/Transformers （二）基于Mistra-7B模型的推薦系統(tǒng)微調(diào)七步曲 1、第一步：推薦數(shù)據(jù)清洗 2、第二步：準(zhǔn)備訓(xùn)練和測(cè)試數(shù)據(jù) 3、第三步：推薦Prompt的Instruction設(shè)計(jì) 4、第四步：推薦標(biāo)簽數(shù)據(jù)轉(zhuǎn)化為指令數(shù)據(jù) 5、第五步：基于DeepSpeed在Mistra-7B進(jìn)行微調(diào) 6、第六步：評(píng)估大模型在推薦數(shù)據(jù)上的效果 7、第七步：持續(xù)優(yōu)化并評(píng)估 （三）基于ChatGLM3-6B構(gòu)建個(gè)人分身大模型微調(diào)七步曲 1、第一步：獲取Webchat個(gè)人對(duì)話數(shù)據(jù) 2、第二步：對(duì)話文件轉(zhuǎn)化成可讀的Text 3、第三步：對(duì)話數(shù)據(jù)清洗 4、第四步：個(gè)人分身的評(píng)估以及訓(xùn)練、測(cè)試集準(zhǔn)備 5、第五步：基于多倫對(duì)話數(shù)據(jù)構(gòu)造指令數(shù)據(jù) 6、第六步：基于DeepSpeed在ChatGLM3-6B上進(jìn)行訓(xùn)練 7、第七步：評(píng)估模型效果以及持續(xù)優(yōu)化 |
|
第五天上午： 微調(diào)實(shí)踐篇 |
一、大模型高階微調(diào)技術(shù) （一）增量預(yù)訓(xùn)練+模型微調(diào) 1、什么是增量預(yù)訓(xùn)練（Continuous Pre-train) 2、增量預(yù)訓(xùn)練的挑戰(zhàn) 3、預(yù)訓(xùn)練數(shù)據(jù)準(zhǔn)備與微調(diào)數(shù)據(jù)準(zhǔn)備 4、領(lǐng)域知識(shí)與通用知識(shí) 5、通用知識(shí)的遺忘 6、領(lǐng)域知識(shí)、通用知識(shí)的順序、配比問題 7、前沿技術(shù)方案剖析 （二）大模型微調(diào)中的挑戰(zhàn) 1、基礎(chǔ)模型的選擇標(biāo)準(zhǔn) 2、tokenizer修改以及解決方案 3、考慮很長(zhǎng)的上下文，以及常見解決方案 4、考慮知識(shí)的遺忘，以及常見的解決方案 5、算力的利用效率以及提高算力利用率 6、數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性的重要性 （三）大模型評(píng)估 1、領(lǐng)域大模型的評(píng)估標(biāo)準(zhǔn)設(shè)計(jì) 2、Benchmarking的重要性以及與解決思路 3、例子：金融大模型的評(píng)估緯度與benchmark準(zhǔn)備 4、例子：情感大模型的評(píng)估緯度與benchmark準(zhǔn)備 5、例子：醫(yī)療大模型的評(píng)估緯度與benchmark準(zhǔn)備 （四）通用大模型搭建 1、通用大模型與領(lǐng)域大模型 2、通用大模型搭建pipeline 3、通用大模型的數(shù)據(jù)配比 4、數(shù)據(jù)清洗的pipeline 5、構(gòu)建模型結(jié)構(gòu)中的思考 6、訓(xùn)練模型過程中的tricks |
|
第五天下午： 微調(diào)高級(jí)篇 |
一、大模型預(yù)訓(xùn)練架構(gòu) （一）Encoder-Decoder預(yù)訓(xùn)練架構(gòu) 1、編解碼器預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 （二）Encoder-Only預(yù)訓(xùn)練架構(gòu) 1、Encoder-Only預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 （三）Decoder-Only預(yù)訓(xùn)練架構(gòu) 1、Decoder-Only預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 三、大模型預(yù)訓(xùn)練框架深度剖析 （一）GPT-3模型深度剖析 1、模型原理深度剖析 2、模型源碼深度剖析 （二）常用開源預(yù)訓(xùn)練模型 1、ChatGLM系列模型解讀 2、LLaMA系列模型解讀 3、Mistra-7B模型 （三）訓(xùn)練特定領(lǐng)域私有模型 1、獲取模型文件 2、部署私有模型 3、對(duì)外服務(wù)開放 4、模型性能比較 |
|
第一天上午： 基礎(chǔ)通識(shí)篇 一、大模型基礎(chǔ)知識(shí)講解 （一）GPT模型前世今生 1、GPT模型是什么 2、GPT-1模型解讀 3、GPT-2模型解讀 4、GPT-3模型解讀 二、大模型底層核心原理 （一）大模型核心原理剖析 1、結(jié)構(gòu)解讀 2、自注意力 3、編解碼器 4，代碼演示 案例練習(xí)：結(jié)合工業(yè)界應(yīng)用場(chǎng)景對(duì)知識(shí)點(diǎn)進(jìn)行代入式講解，深入淺出幫助學(xué)員從道、法、術(shù)、器層面對(duì)大模型底層原理、核心技術(shù)、產(chǎn)業(yè)生態(tài)、商業(yè)應(yīng)用有一個(gè)系統(tǒng)性的認(rèn)識(shí)。 |
|
第一天下午： 基礎(chǔ)通識(shí)篇 一、提示詞應(yīng)用原則與使用技巧 （一）提示詞工程原則 1、主題相關(guān)性 2、確定性焦點(diǎn) 3、語義清晰度 （二）提示詞萬能公式 1、內(nèi)容前提，讓大模型知道你是誰 2、角色設(shè)定，讓大模型知道它是誰 3、目標(biāo)設(shè)定，讓大模型知道要干嘛（明確清晰的目標(biāo)指令） 4、補(bǔ)充需求，讓大模型知道關(guān)注點(diǎn)（回答需要什么形式和范圍） （三）提示詞使用技巧 1、優(yōu)化表達(dá)式 2、連續(xù)性輸出 3、提升問題質(zhì)量 4、預(yù)設(shè)回答方案 5、給定參考答案 （四）提示詞優(yōu)化方式 1、加強(qiáng)大模型的思辨分析意識(shí) 2、界定大模型的劃分范圍邊界 （五）提示詞迭代優(yōu)化 1、提示詞迭代優(yōu)化案例 （六）樣本提示 1、零樣本提示 2、小樣本提示 （七）思維鏈提示 1、文本轉(zhuǎn)化 2、零樣本思維鏈 3、多推理路徑 （八）背景知識(shí)提示 1、文本轉(zhuǎn)化 2、零樣本思維鏈 3、多推理路徑 二、提示詞應(yīng)用場(chǎng)景 （一）基礎(chǔ)應(yīng)用場(chǎng)景 1、文本總結(jié) 2、文本分類 3、文本轉(zhuǎn)化 4、文本擴(kuò)展 5、情感分析 6、內(nèi)容審核 （二）高階應(yīng)用場(chǎng)景 1、論文翻譯 2、知識(shí)問答 3、語音合成 4、數(shù)字播報(bào) 5、圖片搜索 三、提示詞應(yīng)用實(shí)踐 （一）如何運(yùn)用大模型能力進(jìn)行架構(gòu)設(shè)計(jì) 1、方案設(shè)計(jì) （二）如何運(yùn)用大模型能力實(shí)現(xiàn)知識(shí)問答 1、知識(shí)問答 （三）如何運(yùn)用大模型能力進(jìn)行數(shù)據(jù)提取 1、數(shù)據(jù)提取 案例練習(xí)：結(jié)合課程內(nèi)容進(jìn)行演示。 |
|
第二天上午： 基礎(chǔ)技術(shù)篇 一，F(xiàn)unctionCalling技術(shù)介紹 （一）FunctionCalling深度剖析 1、FunctionCalling應(yīng)用 2、使用GPT生成函數(shù)的參數(shù) 3、自然語言生成數(shù)據(jù)庫查詢腳本 4、FunctionCalling 穩(wěn)定性保障 二、文檔嵌入技術(shù)介紹 （一）文檔嵌入技術(shù)深度剖析 1、Embedding能夠解決什么問題 2、Embedding在大模型中的應(yīng)用 3、如何計(jì)算相似度和進(jìn)行語義搜索 4、文檔嵌入技術(shù)在知識(shí)問答中的應(yīng)用案例 5、文檔嵌入技術(shù)在審計(jì)預(yù)警中的應(yīng)用案例 三、向量數(shù)據(jù)庫技術(shù)介紹 （一）向量數(shù)據(jù)庫技術(shù)剖析 1、向量數(shù)據(jù)庫簡(jiǎn)介 2、向量數(shù)據(jù)庫應(yīng)用場(chǎng)景 3、向量數(shù)據(jù)庫底層原理 4、向量數(shù)據(jù)庫搜索算法 5、向量數(shù)據(jù)庫索引技術(shù) 四、檢索增強(qiáng)技術(shù)介紹 （一）檢索增強(qiáng)技術(shù)原理 1、檢索增強(qiáng)原理 2、檢索增強(qiáng)技術(shù) 五、企業(yè)級(jí)應(yīng)用案例 （一）知識(shí)問答系統(tǒng) （二）審計(jì)預(yù)警系統(tǒng) 案例二： 基于大模型、向量數(shù)據(jù)庫、檢索增強(qiáng)技術(shù)、搜索引擎技術(shù)，實(shí)現(xiàn)基于企業(yè)知識(shí)庫的審計(jì)預(yù)警系統(tǒng)。 |
|
第二天下午： 開發(fā)框架篇 一、應(yīng)用開發(fā)框架入門 （一）深入淺出LangChain之總體框架 1、LangChain框架簡(jiǎn)介 2、LangChain核心能力 3、LangChain應(yīng)用場(chǎng)景 4、LangChain核心模塊 二、應(yīng)用開發(fā)框架進(jìn)階 （一）深入淺出LangChain 之Model I/0模塊 1、底層原理講解 2、核心知識(shí)講解 3、提示模板引擎 （二）深入淺出LangChain 之Chains 1、Sequential Chain 2、Transform Chain 3、Router Chain （三）深入淺出LangChain 之Memory 1、為何LLM需要記憶 2、LLM記憶能力的實(shí)現(xiàn) 3、LangChain中常用的記憶類型 （四）深入淺出LangChain 之Retrieval 1、Retrieval 實(shí)現(xiàn)原理 2、Retrieval 代碼實(shí)現(xiàn) （五）深入淺出LangChain 之Agent 1、Agent實(shí)現(xiàn)原理 2、Agent代碼實(shí)戰(zhàn) （六）深入淺出LangChain 之Callbacks 1、Callbacks實(shí)現(xiàn)原理 2、Callbacks代碼實(shí)戰(zhàn) 三、LangChain開發(fā)框架實(shí)戰(zhàn) （一）案例：基于LangChain開發(fā)自己的論文翻譯助手 （二）案例：基于LangChain開發(fā)自己的知識(shí)問答助手 案例研討： 案例一：結(jié)合LangChain框架相關(guān)技術(shù)的應(yīng)用開發(fā)一個(gè)屬于自己的論文翻譯助手 結(jié)合LangChain框架相關(guān)技術(shù)的應(yīng)用開發(fā)一個(gè)屬于自己的知識(shí)問答系統(tǒng) |
|
第三天上午： 開發(fā)框架篇 一、Agent 技術(shù)介紹 （一）Agents 概述與應(yīng)用場(chǎng)景 1、Agent 設(shè)計(jì)原理 2、Agent 應(yīng)用場(chǎng)景 3、ReAct 框架解讀 （二）Agent 關(guān)鍵技術(shù) 1、Agent 計(jì)劃能力 2、Agent 行動(dòng)能力 3、Agent 工具能力 二、開源Agents 源碼解讀 （一）開源Agent 源碼解讀 1、AutoGPT項(xiàng)目定位與解決的問題 2、AutoGPT的技術(shù)方案分析 3、AutoGPT的各模塊代碼解讀 4、MetaGPT項(xiàng)目定位與解決的問題 5、MetaGPT的技術(shù)方案分析 6、MetaGPT的各模塊代碼解讀 三、開源Agents 實(shí)踐案例 （一）線路規(guī)劃師案例 |
|
第三天下午： 模型部署篇 一、私有化模型部署 （一）為何要部署私有化模型 1、垂直數(shù)據(jù)分布差異 2、企業(yè)私有數(shù)據(jù)安全 （二）HuggingFace開源社區(qū)使用指南 1、HuggingFace使用說明 2、HuggingFace應(yīng)用場(chǎng)景 二、私有化大模型部署實(shí)戰(zhàn) （一）常見開源大模型介紹 （二）私有化部署環(huán)境準(zhǔn)備 三、私有化部署實(shí)戰(zhàn)案例 （一）案例一：私有化部署ChatGLM-6B （二）案例二：搭建自己的智能服務(wù)助手 案例研討： 1.清華智普大模型私有化部署； 個(gè)人智能服務(wù)助手部署 |
|
第四天上午： 模型微調(diào)篇 一、大模型微調(diào)基礎(chǔ) （一）為何微調(diào)大模型 1、大模型先天缺陷 2、預(yù)訓(xùn)練成本高昂 3、垂直數(shù)據(jù)分布差異 4、提示推理成本限制 5、企業(yè)私有數(shù)據(jù)安全 （二）大模型微調(diào)三要素 1、微調(diào)數(shù)據(jù) 2、算法模型 3、算力資源 （三）大模型微調(diào)的方式 1、全量參數(shù)微調(diào) 2、部分參數(shù)微調(diào) 3、在線模型微調(diào) 4、離線模型微調(diào) 二、大模型微調(diào)進(jìn)階 （一）大模型指令微調(diào)技術(shù) 1、通用模型的缺點(diǎn)和指令微調(diào)的必要性 2、指令微調(diào)跟BERT時(shí)代Fine-tune之間區(qū)別 3、指令集的收集與格式化 4、指令數(shù)據(jù)集文件制作 5、訓(xùn)練模型以及評(píng)估模型 （二）大模型參數(shù)高效微調(diào)技術(shù) 1、什么是參數(shù)高效微調(diào)技術(shù) 2、Adapter Tuning 3、Prefix Tuning 4、P-Tuning 5、Prompt Tuning 6、LoRA, AdaLoRA （三）大模型內(nèi)存高效微調(diào)技術(shù) 1、理解什么Quantization 2、Mixed-precision decompostion 3、ZeroQuant, SmoothQuant 4、GPTQ, AWQ 5、QLoRA |
|
第四天下午： 微調(diào)進(jìn)階篇 一、大模型微調(diào)實(shí)戰(zhàn) （一）DeepSpeed框架介紹 1、DeepSpeed框架介紹 2、DeepSpeed核心模塊解讀 3、DeepSpeed分布式架構(gòu)解讀 4、ZeRO技術(shù)介紹 5、DeepSpeed部分代碼解讀 6、DeepSpeed/Megatron-LM/Colossal-AI/Transformers （二）基于Mistra-7B模型的推薦系統(tǒng)微調(diào)七步曲 1、第一步：推薦數(shù)據(jù)清洗 2、第二步：準(zhǔn)備訓(xùn)練和測(cè)試數(shù)據(jù) 3、第三步：推薦Prompt的Instruction設(shè)計(jì) 4、第四步：推薦標(biāo)簽數(shù)據(jù)轉(zhuǎn)化為指令數(shù)據(jù) 5、第五步：基于DeepSpeed在Mistra-7B進(jìn)行微調(diào) 6、第六步：評(píng)估大模型在推薦數(shù)據(jù)上的效果 7、第七步：持續(xù)優(yōu)化并評(píng)估 （三）基于ChatGLM3-6B構(gòu)建個(gè)人分身大模型微調(diào)七步曲 1、第一步：獲取Webchat個(gè)人對(duì)話數(shù)據(jù) 2、第二步：對(duì)話文件轉(zhuǎn)化成可讀的Text 3、第三步：對(duì)話數(shù)據(jù)清洗 4、第四步：個(gè)人分身的評(píng)估以及訓(xùn)練、測(cè)試集準(zhǔn)備 5、第五步：基于多倫對(duì)話數(shù)據(jù)構(gòu)造指令數(shù)據(jù) 6、第六步：基于DeepSpeed在ChatGLM3-6B上進(jìn)行訓(xùn)練 7、第七步：評(píng)估模型效果以及持續(xù)優(yōu)化 |
|
第五天上午： 微調(diào)實(shí)踐篇 一、大模型高階微調(diào)技術(shù) （一）增量預(yù)訓(xùn)練+模型微調(diào) 1、什么是增量預(yù)訓(xùn)練（Continuous Pre-train) 2、增量預(yù)訓(xùn)練的挑戰(zhàn) 3、預(yù)訓(xùn)練數(shù)據(jù)準(zhǔn)備與微調(diào)數(shù)據(jù)準(zhǔn)備 4、領(lǐng)域知識(shí)與通用知識(shí) 5、通用知識(shí)的遺忘 6、領(lǐng)域知識(shí)、通用知識(shí)的順序、配比問題 7、前沿技術(shù)方案剖析 （二）大模型微調(diào)中的挑戰(zhàn) 1、基礎(chǔ)模型的選擇標(biāo)準(zhǔn) 2、tokenizer修改以及解決方案 3、考慮很長(zhǎng)的上下文，以及常見解決方案 4、考慮知識(shí)的遺忘，以及常見的解決方案 5、算力的利用效率以及提高算力利用率 6、數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性的重要性 （三）大模型評(píng)估 1、領(lǐng)域大模型的評(píng)估標(biāo)準(zhǔn)設(shè)計(jì) 2、Benchmarking的重要性以及與解決思路 3、例子：金融大模型的評(píng)估緯度與benchmark準(zhǔn)備 4、例子：情感大模型的評(píng)估緯度與benchmark準(zhǔn)備 5、例子：醫(yī)療大模型的評(píng)估緯度與benchmark準(zhǔn)備 （四）通用大模型搭建 1、通用大模型與領(lǐng)域大模型 2、通用大模型搭建pipeline 3、通用大模型的數(shù)據(jù)配比 4、數(shù)據(jù)清洗的pipeline 5、構(gòu)建模型結(jié)構(gòu)中的思考 6、訓(xùn)練模型過程中的tricks |
|
第五天下午： 微調(diào)高級(jí)篇 一、大模型預(yù)訓(xùn)練架構(gòu) （一）Encoder-Decoder預(yù)訓(xùn)練架構(gòu) 1、編解碼器預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 （二）Encoder-Only預(yù)訓(xùn)練架構(gòu) 1、Encoder-Only預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 （三）Decoder-Only預(yù)訓(xùn)練架構(gòu) 1、Decoder-Only預(yù)訓(xùn)練架構(gòu)剖析 2、案例分析 三、大模型預(yù)訓(xùn)練框架深度剖析 （一）GPT-3模型深度剖析 1、模型原理深度剖析 2、模型源碼深度剖析 （二）常用開源預(yù)訓(xùn)練模型 1、ChatGLM系列模型解讀 2、LLaMA系列模型解讀 3、Mistra-7B模型 （三）訓(xùn)練特定領(lǐng)域私有模型 1、獲取模型文件 2、部署私有模型 3、對(duì)外服務(wù)開放 4、模型性能比較 |
近期公開課推薦
