序
自2012 年以來,隨著深度學習與強化學習的興起,機器學習與人工智慧成為科技領域熱門的話題。越來越多的在校生與在職人員開始學習這些知識。然而,機器學習(包括深度學習與強化學習)對數學有較高的要求。
不少數學知識(如最佳化方法、矩陣論、資訊理論、隨機過程、圖論)超出了理工科大學和研究所學生的學習範圍。即使對於理工科學生學習過的微積分、線性代數與機率論,機器學習中所用到的不少知識也超出了大學的教學範圍。看到書或論文中的公式和理論而不知其意,是很多讀者面臨的一大難題。
本書的目標是為讀者學好機器學習打下堅實的數學基礎,用最小的篇幅精準地覆蓋機器學習所需的數學知識系統。全書由8 章組成,包括一元函數微積分、線性代數與矩陣論、多元函數微積分、最佳化方法、機率論、資訊理論、隨機過程、圖論。對章節的順序與結構安排,作者有細緻的考量。
第1 章介紹一元函數微積分的核心知識,包括有關基礎知識、一元函數微分學、一元函數積分學,以及常微分方程,它們是瞭解後面各章的基礎。第2 章介紹線性代數與矩陣論的核心知識,包括向量與矩陣、行列式、線性方程組、矩陣的特徵值與特徵向量、二次型,以及矩陣分解,它們是學習多元函數微積分、最佳化方法、機率論,以及圖論等知識的基礎。第3 章介紹多元函數微積分,包括多元函數微分、多元函數積分,以及無窮級數。第4 章介紹最佳化方法,偏重於連續最佳化問題,包括各種數值最佳化演算法、凸最佳化問題、帶約束的最佳化問題、多目標最佳化問題、變分法,以及目標函數的構造,它們在機器學習中處於核心地位。第5 章介紹機率論的核心知識,包括隨機事件與機率、隨機變數與機率分佈、極限定理、參數估計問題、在機器學習中常用的隨機演算法,以及取樣演算法。用機率論的觀點對機器學習問題進行建模是一類重要的方法。第6 章介紹資訊理論的知識,包括熵、交叉熵、KL 散度等,它們被廣泛用於構造目標函數,對機器學習演算法進行理論分析。第7 章介紹隨機過程,包括馬可夫過程與高斯過程,以及馬可夫鏈取樣演算法。高斯過程回歸是貝氏最佳化的基礎。第8 章介紹圖論的核心知識,包括基本概念、機器學習中使用的各種典型的圖、圖的重要演算法,以及譜圖理論。它們被用於流形學習、譜聚類、機率圖模型、圖神經網路等機器學習演算法。
全書結構合理,內容緊湊,講解深入淺出。在工科數學(偏重計算)與數學專業(偏重理論與證明,更深入和系統)的教學內容和講授模式上進行了折中,使得讀者不僅知其然,還知其所以然,在掌握數學知識的同時培養數學思維與建模能力。
學習數學知識後不知有何用,不知怎麼用,是數學教學中長期存在的問題。本書透過從機器學習的角度講授數學知識,舉例說明其在機器學習領域的實際應用,使得某些抽象、複雜的數學知識不再抽象。部分內容緊接機器學習的新進展。對於線性代數等知識,本書還配合Python 實驗程式進行講解,使得讀者對數學理論的結果有直觀的認識。
由於作者水準與精力有限,書中難免會有錯誤或不妥當的地方,敬請讀者指正!編輯電子郵件為:zhangtao@ptpress.com.cn。
雷明