《聯(lián)邦學習原理與算法》系統(tǒng)介紹了聯(lián)邦學習的全貌，內(nèi)容豐富，兼顧算法理論與實踐。算法部分包含橫向聯(lián)邦、縱向聯(lián)邦等不同的數(shù)據(jù)建模方式，重點討論了聯(lián)邦學習由于數(shù)據(jù)異質性和設備異質性帶來的算法穩(wěn)定性、隱私性挑戰(zhàn)及其解決策略，這對每一個聯(lián)邦學習框架設計者來說都是至關重要但卻容易忽略的部分；實踐部分介紹了當前主流的聯(lián)邦學習框架，并進行對比，然后給出相同算法的不同實現(xiàn)供讀者比較�！堵�(lián)邦學習原理與算法》重點介紹了聯(lián)邦學習計算機視覺及推薦系統(tǒng)等方面的應用，方便算法工程師拓展當前的算法框架，對金融、醫(yī)療、邊緣計算、區(qū)塊鏈等應用也做了詳盡闡述，相信對于研究隱私保護機器學習的計算機相關專業(yè)學生和聯(lián)邦學習領域的開發(fā)者、創(chuàng)業(yè)者都有很好的借鑒作用。詳細的代碼以及對現(xiàn)有框架和開源項目的介紹是本書的一大特色。《聯(lián)邦學習原理與算法》為讀者提供了全部案例源代碼下載和高清學習視頻，讀者可以直接掃描二維碼觀看。
《聯(lián)邦學習原理與算法》融合了聯(lián)邦學習資深技術專家多年經(jīng)驗，系統(tǒng)介紹了聯(lián)邦學習的全貌，內(nèi)容豐富，兼顧算法理論與實踐，對聯(lián)邦學習性能挑戰(zhàn)、安全與隱私挑戰(zhàn)，以及推薦系統(tǒng)進行了介紹。理論講解由淺入深、注重編程實踐，語言簡練、內(nèi)容實用。重點難點部分還配備了二維碼視頻。
隨著算法、算力的不斷提升，以及企業(yè)不斷累積的海量業(yè)務數(shù)據(jù)，人工智能正在廣泛地影響著各行各業(yè)，給人們的生活帶來便捷，比如自動駕駛、醫(yī)療輔助診斷和智能制造等。然而數(shù)據(jù)驅動的人工智能既推動著生產(chǎn)力的發(fā)展，也帶來了隱私泄露等方面的隱患。很多大數(shù)據(jù)公司被曝光會非法收集用戶的數(shù)據(jù)并出售用戶隱私數(shù)據(jù)牟利。越來越多的人正在倡導踐行負責任的人工智能技術(Responsible AI)，保證人工智能技術的公平性、可解釋性與隱私保護性。聯(lián)邦學習正是在此背景之下發(fā)展的一項技術，主要從避免收集數(shù)據(jù)的角度出發(fā)，研究在分布式環(huán)境下全局模型的計算。與一般的分布式機器學習不同，聯(lián)邦學習對各計算節(jié)點的控制權不同，計算節(jié)點對數(shù)據(jù)擁有控制權，且節(jié)點的穩(wěn)定性不同、不同節(jié)點上的數(shù)據(jù)特征分布也不同。這就帶來了比一般分布式機器學習更復雜的系統(tǒng)層級優(yōu)化挑戰(zhàn)。
由于不同計算節(jié)點無須分享數(shù)據(jù)，聯(lián)邦學習適用于對數(shù)據(jù)隱私敏感的系統(tǒng)與行業(yè)，如醫(yī)療、金融風控、智慧城市等。在這些場景中，由于商業(yè)風險、道德與法規(guī)的約束，使得這些領域的數(shù)據(jù)很難被收集到本組織以外的地方。聯(lián)邦學習的開發(fā)將打破數(shù)據(jù)壁壘，實現(xiàn)不同組織、不同類型數(shù)據(jù)之間的隱私保護之下的價值挖掘。
此外，中共中央、國務院2020年也發(fā)布了《關于構建更加完善的要素市場化配置體制機制的意見》，首次正式將數(shù)據(jù)視為一種新型生產(chǎn)要素，與傳統(tǒng)的土地、勞動力、資本等要素并列，并提出加快培育數(shù)據(jù)要素市場、加強企業(yè)間數(shù)據(jù)合作共贏、共同提升社會數(shù)據(jù)的資源價值。聯(lián)邦學習預計將在數(shù)據(jù)隱私與安全計算、數(shù)據(jù)價值流轉中發(fā)揮巨大的作用。
本書內(nèi)容安排如下：第1章介紹聯(lián)邦學習的基礎知識，包括提出與發(fā)展的背景，從技術角度來講解其定義、分類與挑戰(zhàn)，以及相關的法律與社區(qū)。此外，為了方便人工智能的初學者更好地理解后面的內(nèi)容，還介紹了機器學習與深度學習基礎知識。第2章介紹了現(xiàn)有的一些聯(lián)邦學習框架，包括其安裝與部署，并且比較了不同系統(tǒng)的特性，給出了使用建議。第3章深入聯(lián)邦學習技術本身，討論其主要技術，包括橫向聯(lián)邦學習、縱向聯(lián)邦學習與分割學習。第4章介紹了聯(lián)邦學習建模難點與解決方案，對應于第1章提到的性能與效率挑戰(zhàn)。第5章介紹了主流的隱私保護技術，這些技術可以與聯(lián)邦學習技術互為補充。第6章介紹了聯(lián)邦學習系統(tǒng)安全與防御算法，這是當前聯(lián)邦學習研究的熱點。第7章在計算機視覺方向進行聯(lián)邦學習實戰(zhàn)。第8章介紹了聯(lián)邦學習與推薦系統(tǒng)的相關知識。之前主要討論的學習模式是監(jiān)督學習，第9章介紹了聯(lián)邦學習系統(tǒng)與其他深度學習模式的結合（比如多任務學習、半監(jiān)督學習、強化學習、聯(lián)邦圖學習等）。第10章介紹了聯(lián)邦學習在不同行業(yè)的前景（如醫(yī)療、金融、邊緣計算、物聯(lián)網(wǎng)、區(qū)塊鏈等）。
本書的特色與優(yōu)勢在于：，本書的作者是扎根于聯(lián)邦學習前沿的研究者和從業(yè)者；第二，我們參考了近兩年全新的文章和綜述，緊跟學術和業(yè)界動態(tài)。第三，我們對聯(lián)邦學習性能挑戰(zhàn)、安全與隱私挑戰(zhàn)，以及推薦系統(tǒng)進行了介紹。在本書的編寫過程中，我們深深地感受到聯(lián)邦學習及其相關領域技術的繁多冗雜，因此書中難免會出現(xiàn)一些錯誤或者不準確的地方，懇請讀者批評指正。
作者
耿佳輝，博士，歐盟瑪麗居里項目研究員，研究的重點包括隱私保護計算、區(qū)塊鏈、自然語言處理等。多篇文章在國際會議發(fā)表，在中國、德國、挪威的知名企業(yè)都有豐富的工作經(jīng)驗。
牟永利，博士，致力于聯(lián)邦學習、數(shù)據(jù)隱私和區(qū)塊鏈應用等領域的研究，并參與多個德國的醫(yī)療數(shù)據(jù)基建項目，如MMI和NFDI4Health，擁有豐富的數(shù)據(jù)科學和人工智能研究背景。有多篇醫(yī)學信息學、聯(lián)邦學習、區(qū)塊鏈技術國際論文發(fā)表經(jīng)驗。
李青，博士，挪威斯塔萬格大學。致力于機器學習魯棒性、可解釋性，機器學習中的常微分或偏微分方程的數(shù)值計算。
容淳銘，挪威工程院院士、挪威斯塔萬格大學計算機系終身教授、服務式計算研究創(chuàng)新中心主任。曾任IEEE國際云計算學術會議系列指導委員會主席，IEEE區(qū)塊鏈專家委員會主席、（國際）云安全聯(lián)盟（CSA）挪威分部副總理事長，中國科學院海外評審專家。
第1章聯(lián)邦學習與機器學習基礎
1.1聯(lián)邦學習概述
1.1.1聯(lián)邦學習的背景與發(fā)展
1.1.2聯(lián)邦學習的定義與分類
1.1.3聯(lián)邦學習的相關法規(guī)與社區(qū)
1.1.4展望與總結
1.2聯(lián)邦學習挑戰(zhàn)
1.2.1性能挑戰(zhàn)
1.2.2效率挑戰(zhàn)
1.2.3隱私與安全挑戰(zhàn)
1.3機器學習基礎
1.3.1機器學習定義與分類
1.3.2機器學習流程
1.3.3常見的機器學習算法
1.4深度學習基礎與框架
1.4.1深度學習基本原理
1.4.2常見的神經(jīng)網(wǎng)絡類型
1.4.3常見的深度學習框架
第2章聯(lián)邦學習框架
2.1百度PaddleFL框架2.1.1PaddleFL框架結構
2.1.2PaddleFL框架安裝和部署
2.1.3PaddleFL使用示例
2.2Flower框架
2.2.1Flower框架結構
2.2.2Flower框架安裝與部署
2.2.3Flower使用示例
2.3微眾銀行FATE框架
2.3.1FATE的技術架構
2.3.2FATE安裝與部署
2.4聯(lián)邦學習框架對比
第3章聯(lián)邦學習系統(tǒng)架構
3.1橫向聯(lián)邦學習
3.1.1橫向聯(lián)邦學習定義
3.1.2橫向聯(lián)邦學習算法
3.1.3安全聚合算法
3.2縱向聯(lián)邦學習
3.2.1縱向聯(lián)邦學習算法概述
3.2.2縱向聯(lián)邦邏輯回歸算法
3.3分割學習
3.3.1分割學習基本原理
3.3.2分割學習設置與應用場景
第4章聯(lián)邦學習建模難點與解決方案
4.1數(shù)據(jù)統(tǒng)計異質性
4.1.1非獨立同分布影響與收斂性分析
4.1.2非同質性數(shù)據(jù)分類與構建
4.1.3聯(lián)邦學習非獨立同分布策略
4.2個性化聯(lián)邦學習
4.2.1個性化聯(lián)邦學習的動機和概念4.2.2全局模型個性化策略
4.2.3個性化本地模型
4.3聯(lián)邦學習通信與加速算法
4.3.1模型壓縮算法
4.3.2異步與并行優(yōu)化
4.3.3硬件加速
第5章聯(lián)邦學習與隱私保護
5.1差分隱私
5.1.1差分隱私定義
5.1.2差分隱私與機器學習
5.1.3差分隱私在聯(lián)邦學習中的應用
5.1.4開源項目與工具
5.2安全多方計算
5.2.1百萬富翁問題
5.2.2不經(jīng)意傳輸
5.2.3混淆電路
5.2.4秘密分享
5.2.5安全多方計算在聯(lián)邦學習中的應用
5.3同態(tài)加密
5.3.1同態(tài)加密定義與分類
5.3.2部分同態(tài)加密方案
5.4可信執(zhí)行環(huán)境
第6章聯(lián)邦學習系統(tǒng)安全與防御算法
6.1聯(lián)邦學習安全性分析
6.1.1CIA原則: 私密性、完整性與可用性
6.1.2敵手模型
6.2聯(lián)邦學習隱私攻擊與防御
6.2.1成員推斷攻擊與防御
6.2.2重構攻擊與防御6.3聯(lián)邦學習安全攻擊與防御
6.3.1聯(lián)邦學習安全攻擊目標與手段
6.3.2聯(lián)邦學習安全防御
第7章聯(lián)邦學習與計算機視覺
7.1圖像分類
7.1.1傳統(tǒng)圖像分類算法
7.1.2基于深度學習的圖像分類算法
7.1.3圖像分類常用數(shù)據(jù)集
7.2目標檢測
7.2.1目標檢測模型的常用評價標準
7.2.2目標檢測的常用算法
7.2.3目標檢測的常用數(shù)據(jù)集
7.3圖像分割
7.3.1圖像分割分類
7.3.2圖像分割數(shù)據(jù)集
7.3.3語義分割
7.3.4實例分割常用的算法
7.4聯(lián)邦學習圖像識別非獨立同分布數(shù)據(jù)實驗
7.4.1實驗描述
7.4.2實驗過程
7.4.3結果分析
第8章聯(lián)邦學習與推薦系統(tǒng)
8.1推薦系統(tǒng)基本知識
8.1.1推薦系統(tǒng)數(shù)據(jù)
8.1.2推薦系統(tǒng)架構
8.1.3推薦系統(tǒng)數(shù)據(jù)集
8.2協(xié)同過濾算法
8.2.1協(xié)同過濾算法分類
8.2.2協(xié)同過濾算法評價指標8.3矩陣分解
8.3.1奇異值分解
8.3.2聯(lián)邦矩陣分解算法
8.4神經(jīng)協(xié)同過濾網(wǎng)絡
8.4.1神經(jīng)協(xié)同過濾系統(tǒng)框架
8.4.2神經(jīng)協(xié)同過濾層設計
8.4.3神經(jīng)協(xié)同過濾訓練
8.4.4聯(lián)邦神經(jīng)協(xié)同過濾
第9章聯(lián)邦學習與其他深度學習模式結合
9.1聯(lián)邦多任務學習
9.1.1多任務學習基本原理
9.1.2聯(lián)邦多任務學習算法
9.2聯(lián)邦學習與半監(jiān)督學習
9.2.1半監(jiān)督學習的基本方法
9.2.2聯(lián)邦學習與半監(jiān)督學習結合
9.3聯(lián)邦強化學習
9.3.1強化學習基本原理與分類
9.3.2聯(lián)邦學習與強化學習結合
9.4聯(lián)邦圖學習
9.4.1圖學習算法基礎知識
9.4.2聯(lián)邦圖學習算法與挑戰(zhàn)
第10章聯(lián)邦學習應用前景
10.1聯(lián)邦學習與醫(yī)療
10.1.1聯(lián)邦醫(yī)學圖像處理
10.1.2聯(lián)邦學習與電子醫(yī)療記錄
10.1.3聯(lián)邦學習與藥物開發(fā)
10.2聯(lián)邦學習與金融
10.2.1聯(lián)邦學習與銀行風控
10.2.2聯(lián)邦學習與消費社交反欺詐10.2.3聯(lián)邦學習與智慧營銷
10.3聯(lián)邦學習、邊緣計算與物聯(lián)網(wǎng)
10.3.1聯(lián)邦學習與邊緣計算
10.3.2聯(lián)邦學習與物聯(lián)網(wǎng)
10.3.3聯(lián)邦學習與自動駕駛
10.4聯(lián)邦學習與區(qū)塊鏈
10.4.1區(qū)塊鏈基本原理
10.4.2區(qū)塊鏈分類
10.4.3區(qū)塊鏈與聯(lián)邦學習結合
書單推薦
