第 1 章 引言與概述 1 11 生成式人工智能概述 1 111 判別式模型 2 112 生成式模型 3 113 什么是生成式人工智能， 為何流行 4 114 為什么生成式人工智能 變得如此強* 5 115 縮放定律 8 116 生成式人工智能的風險 與限制 9 12 機器學習系統(tǒng)設計面試框架 9 121 明確需求 10 122 將問題轉(zhuǎn)換為機器學習 任務 11 123 數(shù)據(jù)準備 14 124 模型開發(fā) 19 125 評估 30 126 整體機器學習系統(tǒng)設計 32 13 小結(jié) 33 第 2 章 Gmail 智能撰寫 35 21 明確需求 35 22 將問題轉(zhuǎn)換為機器學習任務 36 221 指定系統(tǒng)的輸入和輸出 36 222 選擇合適的機器學習 方法 36 23 數(shù)據(jù)準備 37 231 文本清洗與標準化 39 232 文本詞元化與詞元索引 39 24 模型開發(fā) 44 241 架構(gòu) 44 242 訓練 53 243 采樣 59 244 智能撰寫功能適合采用 哪種采樣方法 62 25 評估 65 251 離線評估指標 65 252 在線評估指標 67 26 整體機器學習系統(tǒng)設計 68 261 觸發(fā)服務 68 262 短語生成器 69 263 后處理服務 70 27 其他討論要點 72 第3 章 Google 翻譯 73 31 明確需求 73 32 將問題轉(zhuǎn)換為機器學習任務 74 321 指定系統(tǒng)的輸入和輸出 74 322 選擇合適的機器學習 方法 75 33 數(shù)據(jù)準備 76 331 文本預處理 76 332 文本詞元化 77 ii | 目 錄 34 模型開發(fā) 82 341 架構(gòu) 82 342 訓練 86 343 采樣 91 35 評估 92 351 離線評估指標 92 352 在線評估指標 95 36 整體機器學習系統(tǒng)設計 96 361 語言檢測器 96 362 翻譯服務 97 37 其他討論要點 98 第4 章 ChatGPT：個人聊天 助理 99 41 明確需求 99 42 將問題轉(zhuǎn)換為機器學習任務 100 421 指定系統(tǒng)的輸入和輸出 100 422 選擇合適的機器學習 方法 100 43 數(shù)據(jù)準備 101 44 模型開發(fā) 102 441 架構(gòu) 102 442 訓練 106 443 采樣 117 45 評估 127 451 離線評估指標 127 452 在線評估指標 133 46 整體機器學習系統(tǒng)設計 135 461 訓練流程 135 462 推理流程 135 47 其他討論要點 137 第5 章 圖像描述生成 138 51 明確需求 139 52 將問題轉(zhuǎn)換為機器學習任務 140 521 指定系統(tǒng)的輸入和輸出 140 522 選擇合適的機器學習 方法 140 53 數(shù)據(jù)準備 141 531 標題數(shù)據(jù)準備 142 532 圖像數(shù)據(jù)準備 142 54 模型開發(fā) 143 541 架構(gòu) 143 542 訓練 149 543 采樣 151 55 評估 152 551 離線評估指標 152 552 在線評估指標 155 56 總體機器學習系統(tǒng)設計 155 57 其他討論要點 157 第6 章 檢索增強生成 158 61 明確需求 159 62 將問題轉(zhuǎn)換為機器學習任務 160 621 指定系統(tǒng)的輸入和輸出 160 622 選擇合適的機器學習 方法 160 63 數(shù)據(jù)準備 164 631 文檔解析 164 632 文檔分塊 166 633 索引 167 634 使用基于向量的檢索 來索引數(shù)據(jù) 169 64 模型開發(fā) 170 641 架構(gòu) 170 642 訓練 172 643 采樣 174 65 評估 182 651 上下文相關性 183 652 忠實性 183 653 答案相關性 184 目 錄 | iii 654 答案正確性 184 66 整體機器學習系統(tǒng)設計 185 661 索引過程 186 662 安全過濾 186 663 查詢擴展 186 664 檢索 186 665 生成 186 67 其他討論要點 187 第7 章 真實人臉生成 188 71 明確需求 188 72 將問題轉(zhuǎn)換為機器學習任務 189 721 指定系統(tǒng)的輸入和輸出 189 722 選擇合適的機器學習 方法 189 73 數(shù)據(jù)準備 196 74 模型開發(fā) 197 741 架構(gòu) 197 742 訓練 202 743 采樣 206 75 評估 208 751 離線評估指標 208 752 在線評估指標 212 76 整體機器學習系統(tǒng)設計 212 761 人臉生成器 213 762 訓練服務 213 763 評估服務 213 764 部署服務 214 77 其他討論要點 214 第8 章 高分辨率圖像合成 215 81 明確需求 215 82 將問題轉(zhuǎn)換為機器學習任務 216 821 指定系統(tǒng)的輸入和輸出 216 822 選擇合適的機器學習 方法 216 83 數(shù)據(jù)準備 220 831 圖像清理和歸一化 220 832 圖像詞元化 220 84 模型開發(fā) 221 841 架構(gòu) 221 842 訓練 225 843 采樣 229 85 評估 230 851 離線評估指標 230 852 在線評估指標 231 86 整體機器學習系統(tǒng)設計 231 861 生成服務 232 862 解碼服務 232 863 超分辨率服務 232 87 其他討論要點 233 第9 章 文本到圖像生成 234 91 明確需求 235 92 將問題轉(zhuǎn)換為機器學習任務 235 921 指定系統(tǒng)的輸入和輸出 235 921 選擇合適的機器學習 方法 236 93 數(shù)據(jù)準備 239 931 圖像準備 239 932 圖像描述文本準備 240 94 模型開發(fā) 240 941 架構(gòu) 240 942 訓練 244 943 采樣 248 95 評估 250 951 離線評估指標 250 952 在線評估指標 252 96 整體機器學習系統(tǒng)設計 253 961 數(shù)據(jù)流程 253 962 訓練流程 254 963 評估流程 254 iv | 目 錄 964 模型優(yōu)化流程 254 965 推理流程 254 97 其他討論要點 257 第 10 章 個性化頭像生成 258 101 明確需求 258 102 將問題轉(zhuǎn)換為機器學習任務 259 1021 指定系統(tǒng)的輸入和 輸出 259 1022 選擇合適的機器學習 方法 260 103 數(shù)據(jù)準備 269 104 模型開發(fā) 270 1041 架構(gòu) 270 1042 訓練 271 1043 采樣 272 105 評估 273 1051 離線評估指標 273 1052 在線評估指標 276 106 整體機器學習系統(tǒng)設計 276 1061 數(shù)據(jù)流程 276 1062 訓練流程 277 1063 推理流程 278 107 其他討論要點 279 第 11 章 文本到視頻生成 280 111 明確需求 281 112 將問題轉(zhuǎn)換為機器學習任務 282 1121 指定系統(tǒng)的輸入和 輸出 282 1122 選擇合適的機器學習 方法 282 113 數(shù)據(jù)準備 285 1131 視頻準備 285 1132 描述文本準備 287 114 模型開發(fā) 288 1141 架構(gòu) 288 1142 訓練 294 1143 采樣 297 115 評估 298 1151 離線評估指標 298 1152 在線評估指標 300 116 整體機器學習系統(tǒng)設計 300 1161 數(shù)據(jù)流程 300 1162 訓練流程 301 1163 推理流程 301 117 其他討論要點 302 后記 303