本書從發(fā)展概述、核心技術(shù)原理與產(chǎn)業(yè)實(shí)踐的角度深入解析大模型系統(tǒng)。 全書共 9 章。第1章首先對(duì)大模型技術(shù)進(jìn)行概述，系統(tǒng)梳理其概念、發(fā)展里程碑及未來(lái)趨勢(shì)。第2章轉(zhuǎn)入產(chǎn)業(yè)視角，深入剖析競(jìng)爭(zhēng)格局、商業(yè)策略與產(chǎn)業(yè)落地面臨的挑戰(zhàn)。第3~5章介紹大模型系統(tǒng)的技術(shù)實(shí)現(xiàn)，從監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)等方法入手，逐步深入文本標(biāo)記化、編碼器-解碼器架構(gòu)與從 RNN/LSTM 到 Transformer 的革新，再介紹縮放定律、數(shù)據(jù) / 算力/參數(shù)等預(yù)訓(xùn)練要素，以及指令微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)對(duì)齊機(jī)制。第6~9章從產(chǎn)業(yè)實(shí)踐的角度解析應(yīng)用層技術(shù)，包括上下文學(xué)習(xí)、檢索增強(qiáng)生成等提示工程方法，深入剖析以思維鏈為代表的符號(hào)推理，以及從工作記憶、長(zhǎng)期記憶到認(rèn)知架構(gòu)的語(yǔ)言智能體體系的構(gòu)建。 本書適合人工智能領(lǐng)域從業(yè)者、高校計(jì)算機(jī)相關(guān)專業(yè)師生，以及所有對(duì)大模型技術(shù)感興趣的人士閱讀。
在跟進(jìn)大模型技術(shù)時(shí)，總覺(jué)得知識(shí)散、鏈路亂？
想把握AI產(chǎn)業(yè)趨勢(shì)，卻缺乏從技術(shù)到落地的實(shí)戰(zhàn)視角？
這本書的作者，是深度參與企業(yè)大模型布局、主導(dǎo)生成式AI產(chǎn)品落地的實(shí)戰(zhàn)派他把多年一線經(jīng)驗(yàn)，融成9章產(chǎn)業(yè)+技術(shù)+應(yīng)用的完整鏈路。
1. 理清大模型核心概念、技術(shù)歷程與產(chǎn)業(yè)競(jìng)爭(zhēng)格局。
2. 深入核心原理：從監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)，到 Transformer/LLM 的技術(shù)演進(jìn)。
3. 落地到應(yīng)用層：提示工程、智能體構(gòu)建等前沿實(shí)踐邏輯。
本書不是拿來(lái)就用的工具，而是幫你搭建從技術(shù)原理到產(chǎn)業(yè)落地的認(rèn)知框架，讓你在項(xiàng)目中更清晰地把握技術(shù)邏輯、判斷產(chǎn)業(yè)方向。
獨(dú)家配套AI大模型系統(tǒng)10講視頻
與書籍內(nèi)容深度聯(lián)動(dòng)，拆解技術(shù)細(xì)節(jié)、梳理實(shí)戰(zhàn)案例，輔助深化對(duì)復(fù)雜知識(shí)的理解。
白鈺，AI與云計(jì)算技術(shù)專家，在多模態(tài)大模型算法及AI系統(tǒng)方面有豐富的知識(shí)儲(chǔ)備和實(shí)踐經(jīng)驗(yàn)。曾在Comcast、亞馬遜、阿里云等企業(yè)擔(dān)任AI算法負(fù)責(zé)人，帶領(lǐng)團(tuán)隊(duì)開(kāi)發(fā)多項(xiàng)服務(wù)億級(jí)用戶的AI系統(tǒng)，在多模態(tài)大模型研發(fā)和大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)落地方面積累了大量經(jīng)驗(yàn)；曾在NeurIPS、NSDI、S&P等頂級(jí)會(huì)議、期刊上發(fā)表多篇論文，擁有20余項(xiàng)專利，參與多項(xiàng)AI標(biāo)準(zhǔn)制定，現(xiàn)任中國(guó)中文信息學(xué)會(huì)大模型與生成專業(yè)委員會(huì)委員、中國(guó)計(jì)算機(jī)學(xué)會(huì)技術(shù)前沿委員會(huì)委員。
1 章 大模型技術(shù)概述 1
11 大模型相關(guān)概念辨析 1
111 基礎(chǔ)模型 1
112 GenAI 模型 2
113 LLM 3
114 大模型 3
12 大模型技術(shù)發(fā)展歷程 4
121 技術(shù)發(fā)展的階段 4
122 技術(shù)發(fā)展的驅(qū)動(dòng)力 7
123 當(dāng)前挑戰(zhàn)與未來(lái)發(fā)展方向 8
13 大模型系統(tǒng)發(fā)展路徑 9
131 基礎(chǔ)語(yǔ)言理解與生成 9
132 工具賦能的增強(qiáng)智能 10
133 自主思考的深入探索 11
134 連接物理世界的具身智能 13
第 2 章 大模型產(chǎn)業(yè)發(fā)展概述 15
21 大模型產(chǎn)業(yè)發(fā)展回顧 15
211 Transformer 架構(gòu)誕生 15
212 商業(yè)模式探索 16
213 ChatGPT 與生態(tài)競(jìng)賽 16
214 “百家爭(zhēng)鳴”時(shí)代 17
22 商業(yè)化核心戰(zhàn)略 18
221 構(gòu)建可持續(xù)的商業(yè)閉環(huán) 18
222 平民化 20
223 專業(yè)化 21
224 具身化 22
23 產(chǎn)業(yè)落地模式 23
231 場(chǎng)景創(chuàng)新 23
232 工具創(chuàng)新 24
233 方法創(chuàng)新 24
234 評(píng)估大模型帶來(lái)的創(chuàng)新價(jià)值 24
24 產(chǎn)業(yè)競(jìng)爭(zhēng)格局與挑戰(zhàn) 25
241 領(lǐng)跑者的技術(shù)透明化挑戰(zhàn) 25
242 后發(fā)者的市場(chǎng)局限 25
243 創(chuàng)業(yè)公司的生存壓力 26
第 3 章 模型預(yù)訓(xùn)練技術(shù)基礎(chǔ) 27
31 監(jiān)督學(xué)習(xí) 27
311 監(jiān)督學(xué)習(xí)的定義 27
312 監(jiān)督學(xué)習(xí)的統(tǒng)計(jì)建模 28
313 監(jiān)督學(xué)習(xí)的統(tǒng)計(jì)前提 29
314 監(jiān)督學(xué)習(xí)中模型結(jié)構(gòu)的選擇 31
315 監(jiān)督學(xué)習(xí)中模型的泛化機(jī)制 32
316 案例分析：從實(shí)驗(yàn)觀測(cè)數(shù)據(jù)發(fā)現(xiàn)牛頓第二定律 34
32 深度學(xué)習(xí) 36
321 層次結(jié)構(gòu)與函數(shù)表達(dá)能力 36
322 網(wǎng)絡(luò)訓(xùn)練機(jī)制 38
323 DNN 的過(guò)擬合風(fēng)險(xiǎn)與壓縮張力 41
324 DNN 壓縮機(jī)制 42
325 DNN 的結(jié)構(gòu)化能力 45
33 表示學(xué)習(xí) 46
331 表示學(xué)習(xí)的基本思想 47
332 CNN 與層次化空間表示 49
333 殘差網(wǎng)絡(luò) 53
34 遷移學(xué)習(xí) 55
341 概念引入：從已見(jiàn)分布到未知分布 55
342 遷移學(xué)習(xí)的基本策略：凍結(jié)還是微調(diào) 56
343 ResNet 與 ImageNet 58
344 遷移學(xué)習(xí)的流程 59
345 實(shí)踐案例：ResNet-152羊駝五分類微調(diào) 61
346 遷移學(xué)習(xí)的范式轉(zhuǎn)變 63
第 4 章 預(yù)訓(xùn)練語(yǔ)言模型基礎(chǔ) 64
41 標(biāo)記化 64
411 記號(hào) 64
412 詞匯表 65
413 未登錄詞 65
414 標(biāo)記化策略 66
415 編碼與解碼 67
42 編碼器-解碼器架構(gòu) 68
421 編碼器-解碼器架構(gòu)概念 68
422 隱層語(yǔ)義空間 69
423 通用性和模塊化 70
43 自監(jiān)督學(xué)習(xí) 71
431 自監(jiān)督學(xué)習(xí)的借口任務(wù) 71
432 CLM 73
44 RNN 74
441 RNN 基礎(chǔ)與工作原理 74
442 RNN 編碼器 76
443 RNN 解碼器 77
444 強(qiáng)制教學(xué)與計(jì)劃采樣 79
445 LSTM 與門控結(jié)構(gòu)記憶 82
446 注意力機(jī)制 84
45 Transformer 與并行檢索 88
451 從循環(huán)依賴到并行計(jì)算 88
452 自注意力機(jī)制 90
453 位置編碼機(jī)制 91
454 多頭注意力機(jī)制 92
455 標(biāo)準(zhǔn)的 Transformer 層結(jié)構(gòu) 93
456 自監(jiān)督的預(yù)訓(xùn)練范式 95
第 5 章 LLM 基礎(chǔ) 98
51 預(yù)訓(xùn)練階段 98
511 縮放定律 98
512 數(shù)據(jù) 99
513 算力 102
514 參數(shù)規(guī)模 104
52 后訓(xùn)練階段 108
521 分類頭微調(diào) 109
522 指令微調(diào) 110
523 環(huán)境價(jià)值體系對(duì)齊 112
524 RLHF 的滾雪球式自舉對(duì)齊 117
第 6 章 提示工程方法 122
61 上下文學(xué)習(xí)原理機(jī)制 122
611 測(cè)試時(shí)模型的生成行為控制問(wèn)題 122
612 少樣本提示與新任務(wù)學(xué)習(xí)機(jī)制 123
613 零樣本提示的能力 125
62 RAG 的知識(shí)遷移機(jī)制 128
621 建立檢索模塊的“語(yǔ)義可比性”基礎(chǔ) 128
622 檢索模塊中的效率與精度權(quán)衡 130
623 面向生成質(zhì)量的新排序器訓(xùn)練范式 132
624 將外部知識(shí)注入模型上下文 134
63 AI 搜索 136
631 從信息檢索到任務(wù)執(zhí)行的范式躍遷 136
632 結(jié)構(gòu)化知識(shí)索引機(jī)制 137
633 工具環(huán)境中的檢索機(jī)制 139
634 用戶偏好環(huán)境中的召回機(jī)制 142
635 多通道融合機(jī)制 144
636 搜索型系統(tǒng)的演化趨勢(shì)：從檢索接口到語(yǔ)義代理 146
第 7 章 符號(hào)推理方法 150
71 狀態(tài)空間 150
711 狀態(tài)空間的構(gòu)造 150
712 推理的本質(zhì) 152
713 默認(rèn)搜索機(jī)制的局限 154
72 路徑深度與推理能力 155
721 輸出長(zhǎng)度作為“行動(dòng)預(yù)算” 156
722 CoT 提示 157
73 自一致性機(jī)制 159
731 以路徑多樣性提升推理魯棒性 159
732 搜索策略的演進(jìn) 161
74 ToT：構(gòu)建顯式的結(jié)構(gòu)化搜索范式 162
741 DFS 的結(jié)構(gòu)性瓶頸 163
742 早期結(jié)構(gòu)化嘗試 164
743 ToT 的核心 166
744 ToT 應(yīng)用 167
75 語(yǔ)言作為控制器 169
751 顯式提示驅(qū)動(dòng) 169
752 交互式引導(dǎo) 171
753 策略的內(nèi)化 173
754 策略的涌現(xiàn)：超越模仿，邁向自組織的復(fù)雜搜索
行為 175
第 8 章 語(yǔ)言智能體的構(gòu)建 178
81 工作記憶 178
811 將 LLM 的生成過(guò)程重新詮釋為策略函數(shù) 178
812 構(gòu)建智能體的動(dòng)態(tài)認(rèn)知 180
813 ReAct 框架 183
82 長(zhǎng)期記憶 186
821 ReAct 框架的局限與突破 186
822 長(zhǎng)期記憶的運(yùn)作機(jī)制 188
823 長(zhǎng)期記憶的架構(gòu)與流程 190
83 語(yǔ)言智能體的本質(zhì) 192
831 先驗(yàn)知識(shí)體系 192
832 環(huán)境交互機(jī)制 194
833 先驗(yàn)與反饋的協(xié)同進(jìn)化 196
第 9 章 智能體的認(rèn)知架構(gòu) 198
91 認(rèn)知架構(gòu)總覽 198
911 認(rèn)知架構(gòu)的核心設(shè)計(jì)原則 198
912 SOAR 認(rèn)知架構(gòu) 199
913 CoALA 202
92 情節(jié)記憶 204
921 在線層-近線層-離線層 3 層架構(gòu) 205
922 在線寫入 206
923 近線處理 208
924 離線反思 209
925 在線檢索 211
93 程序記憶 212
931 認(rèn)知過(guò)程的規(guī)則與調(diào)度 214
932 規(guī)則的固化與執(zhí)行 215
933 程序記憶的整合與治理 217
94 行動(dòng)規(guī)劃 218
941 行動(dòng)策略的演進(jìn) 218
942 規(guī)劃的生成 220
943 流水線架構(gòu) 222
944 應(yīng)用案例分析：博弈場(chǎng)景的“博弈樹(shù)”優(yōu)化 223
95 交互協(xié)議 MCP 224
951 MCP 224
952 工具的使用模式 228
953 工具的動(dòng)態(tài)生成 229
954 工具生態(tài)的治理 231
955 可信賴自主交互的頂層設(shè)計(jì) 233
書單推薦
