本書介紹了自組織增量學習神經網絡及其在人工智能領域的應用。神經網絡是一種模擬生物神經系統(tǒng)的人工智能技術，具有強大的數(shù)據(jù)處理能力和學習能力。自組織增量學習神經網絡是一種具有高度自組織結構和增量學習能力的神經網絡。與傳統(tǒng)機器學習方法相比，自組織增量學習神經網絡有更強的靈活性和適應性，能夠更好地適應動態(tài)環(huán)境和解決復雜的問題。自組織增量學習神經網絡在多個領域有著廣泛的應用，包括機器人智能系統(tǒng)、人臉識別、圖像處理、場景理解、語音識別、姿勢識別、股票預測等。使用自組織增量學習神經網絡，這些應用能夠實現(xiàn)更高效、更靈活的學習和決策能力。 本書適合人工智能領域的研究人員和高等院校計算機科學與技術、人工智能等專業(yè)研究生閱讀。
申富饒，教授，南京大學人工智能學院院長助理，2006年博士畢業(yè)于東京工業(yè)大學智能系統(tǒng)科學專業(yè)，南京大學量子物理與人工智能特聘教授，南京大學科沃斯講席教授，長期從事神經網絡、數(shù)據(jù)分析、機器人智能等的教學與科研工作。
第1 章數(shù)學基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 線性代數(shù)基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 向量基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 矩陣基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 特征值和特征向量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.1.4 特征值分解和奇異值分解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 概率統(tǒng)計基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 基礎概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 概率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 全概率和貝葉斯公式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.2.4 隨機變量及其分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.5 二維隨機變量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.6 數(shù)學期望和方差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.7 協(xié)方差和相關系數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.8 最大似然估計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 距離度量基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 向量范數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 度量與向量范數(shù)的關系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.3.4 其他距離度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 信息論基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4.1 信息量和信息熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.2 聯(lián)合熵和條件熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.3 KL 散度和JS 散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.4 交叉熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
第2 章自組織神經網絡的起源與發(fā)展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1 自組織神經網絡的發(fā)展歷史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 自組織映射網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.1 自組織映射網絡的基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.2 自組織映射網絡的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32
2.3 自適應共振理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33
2.3.1 自適應共振理論的基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
2.3.2 ART 網絡的拓展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 生長型神經氣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
第3 章自組織增量學習神經網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 SOINN 的網絡結構與學習流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 SOINN 的原理分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.1 神經元學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.2 拓撲學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 自適應閾值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.4 節(jié)點激活的閾值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.5 網絡的“定期檢查” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.6 SOINN 完整算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
第4 章SOINN 的改進算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
4.1 E-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
4.1.1 E-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.1.2 E-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Adjusted SOINN 分類器算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.1 ASC 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
4.2.2 ASC 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 LB-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 LB-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.2 LB-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 LD-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.4.1 LD-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.2 LD-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.5 DenSOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5.1 DenSOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
4.5.2 DenSOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
第5 章SOINN 的應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1 聚類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 并行計算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1.2 異構數(shù)據(jù)的處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 計算機視覺. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.2.1 特征提取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.2 屬性轉移學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.3 分類、識別與匹配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3 時間序列預測. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.1 距離度量方面的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.3.2 SOINN 結合Shapelet 的應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.4 數(shù)據(jù)處理與預處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.1 數(shù)據(jù)壓縮和提煉. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.2 SOINN 的輸出用于其他網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.5 異常檢測. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.1 SOINN 分類器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.2 交互式標注. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.5.3 在權值調節(jié)方面的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
附錄A SOINN 軟件包及相關算法實現(xiàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
書單推薦
