本書詳細介紹了基于大模型的生成式AI開發(fā)技術，涵蓋了自然語言處理、語音識別及計算機視覺與圖像生成等不同領域。首先在比對生成式AI與判別式AI的基礎之上，講解了大模型的基礎知識及相關應用技巧，從文本向量化入手深入剖析了轉(zhuǎn)換器架構的各項核心技術，通過豐富的示例闡述了大模型處理相關任務時的代碼實現(xiàn)、模型加載、數(shù)據(jù)預處理和流水線等機制；隨后深入探討了在大模型部署過程中對算力及存儲需求的估算方法，揭示了模型性能與模型規(guī)模之間的冪律關系；最后詳細介紹了大模型的分布式預訓練技術與高效的參數(shù)微調(diào)方法，還針對大模型對齊人類偏好的一些技術和算法進行了專門講解。