本書詳細(xì)介紹了基于大模型的生成式AI開發(fā)技術(shù)，涵蓋了自然語言處理、語音識(shí)別及計(jì)算機(jī)視覺與圖像生成等不同領(lǐng)域。首先在比對(duì)生成式AI與判別式AI的基礎(chǔ)之上，講解了大模型的基礎(chǔ)知識(shí)及相關(guān)應(yīng)用技巧，從文本向量化入手深入剖析了轉(zhuǎn)換器架構(gòu)的各項(xiàng)核心技術(shù)，通過豐富的示例闡述了大模型處理相關(guān)任務(wù)時(shí)的代碼實(shí)現(xiàn)、模型加載、數(shù)據(jù)預(yù)處理和流水線等機(jī)制；隨后深入探討了在大模型部署過程中對(duì)算力及存儲(chǔ)需求的估算方法，揭示了模型性能與模型規(guī)模之間的冪律關(guān)系；最后詳細(xì)介紹了大模型的分布式預(yù)訓(xùn)練技術(shù)與高效的參數(shù)微調(diào)方法，還針對(duì)大模型對(duì)齊人類偏好的一些技術(shù)和算法進(jìn)行了專門講解。