Study: AI @ Deep Learning

Bionics (仿生學) 這個名詞來源於希臘文「 βίος 」，
意思是「生命」，之所以字尾「nic」來結尾「具有……的性質」的意思。

最早生命的出現已有46億年物語的演變~

而... 人類自詡為地球上最聰明的生物! 倚賴Biological neural network (生物神經網路)
泛指生物的神經元、細胞、觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。

Artificial Intelligence (人工智慧)

生物學上的神經元研究，啟發了AI領域關於「類神經網路」(或稱人工神經網路) 的概念。
神經系統由神經元構成，彼此間透過突觸以電流傳遞訊號。
是否傳遞訊號、取決於神經細胞接收到的訊號量，當訊號量超過了某個閾值(Threshold)時，
細胞體就會產生電流、通過突觸傳到其他神經元。

而... 絕妙點子來自於... 神經元 (Neuron)

為了模擬神經細胞行為，科學家設定每一個神經元都是一個「激發(勵)函數」，
其實就是一個公式；當對神經元輸入一個輸入值（input）後，經過激發(勵)函數的運算、
輸出輸出值（output），這個輸出值會再傳入下一個神經元，成為該神經元的輸出值。

赫布理論 (Hebbian theory) :

Cells that fire together, wire together!!! 「一起激發的神經元連在一起」

而... 感知器(Perceptron)模型 since 1958 by Frank Rosenblatt
這是第一個具有自我學習能力的數學模型，為後續人工神經網路模型的高祖!!!

(其中的 sign 是正負號判斷函數，若是正數則傳回 1，負數則傳回 0。)

y = AF(Wx) ; W = Weight (權重)

激發(勵)函數 = Activation function = AF

激發(勵)函數必須選擇可被微分的!
其功能是用來解決日常生活中不能使用線性方程式所概括的問題!!!

@ SLP：Single Layer Perceptron

其重要的概念及定理的證明為: 感知機收斂定理

之所以必須導入激發(勵)函數來收斂... 歸納後基本上有使用三種函數...

(1) 邏輯函數(Sigmoid function) = 收斂在於0到1之間

(2) 雙曲函數(TanH: Hyperbolic Tangent) = 收斂在-1與1之間

(3) 線性整流函數(ReLU：Rectified Linear Unit) = 線性整流

無庸置疑... AI為何能夠實現!!!
先要來講個DATA SCIENCE (資料科學)~~~

而... 一頭牛的重量是多少？

在美國舉行的科技、娛樂和設計年會（TED）上，一位來自以色列的演講者將一頭公牛牽上台，要求台下觀眾猜測重量。
500多名觀眾通過手機和網絡參與了這個實驗。

其中最低的猜測是308英磅，最高的是8000多英磅，平均值是1792英磅，而這頭牛的真實重量是1795英磅。
這其實是一個古老的實驗，其背後的理論被稱為「群體智慧」。

人們很早就注意到，在特定的機制下，看似雜亂無章的個體智慧得以聚合，偏見相互抵消，錯誤相互修正，
最終呈現出驚人準確的平均答案，或是接近完美的智力產品。

Domain Expertise (Domain Knowledge) &&
Computer Science &&
MATHEMATICS

Data Science (~= Deep Learning)

ComboStyle™來詮釋AI是沙毀?! [開個六給他，讓他贏莊家一百塊]

人工神經網路(ANN：Artificial Neural Network)
https://www.ansforce.com/post/S1-p1080

機器學習的衰頹興盛：從類神經網路到淺層學習
https://www.stockfeel.com.tw/機器學習的衰頹興盛：從類神經網路到淺層學習/

3 分鐘搞懂深度學習到底在深什麼
https://panx.asia/archives/53209

Why Deep Learning?!

Combo™覺得維度 (次元)概念來解釋Deep還算恰當...
當然... 無庸置疑!!! 低維度始終無法意味到高維度所發生的行為!!!

再來... 深度學習越深越好嗎?!
深度學習之所以厲害就在於它堆疊了很多層，因此很多人會好奇，神經網路越多層就越好嗎？
這個問題的答案跟「頭大的人就比較聰明嗎」差不多：答案是: 不一定。

(從錯誤率（紅字）來看，神經網路疊得越深似乎越好，但可以注意它的架構也不是簡單的堆疊，而是變得很複雜。)
雖然從這幾年的一些機器學習競賽結果來看，似乎越多層就能得到更低的錯誤率，
Residual Network 堆到 152 層，錯誤率也低到 3.57%。
但是堆疊上百層的神經網路，常常會導致「Vanishing Gradient」，也就是因為每一層運算讓數值不斷收斂，導致最後的 output 越來越小，
跟正確答案相減之後也就看不到顯著的最小值，看起來到處都是最小值。

有上過國中數學的人都知道，隨著數值的變大，質數出現的次數也越來越少，
比方說在 10 以內的質數有 2、3、5、7 共四個，占了40％，而 100 以內的質數有 25 個，占 25％，
至於 100 萬以內的質數只占了 7.85％，顯然質數的分布是越來越稀疏，同時質數之間的平均距離也越來越遠

他的「髮絲步」撞破數學界的「質數牆」華人數學家張益唐破解百年數學謎題

數學界最大的謎團：日本數學家望月新一的論文與無法測透的證明
http://cdn.technews.tw/2015/12/22/abc-proof-too-tough/
https://www.ptt.cc/bbs/Gossiping/M.1515259708.A.5E2.html

一天搞懂深度學習--學習心得

在目前主要的深度學習架構裡，人類要擔心的重點只有一個：「Gradient Descent」，中文勉強譯做梯度下降法。
我們可以把深度學習想像成有一百萬個學生同時在寫答案，他們每個人都有不同的思考方式，最後每個人都交出一個不同的答案（一個數字）。
將所有的答案跟標準答案相減之後（技術上稱為 loss），畫成一條折線圖（或是複雜一點的 3D 圖），
離標準答案最接近的那個答案，就會在這張圖的最低點，深度學習的目標就是要找到這個最低點。

台大電機系教授李宏毅說，「深度學習也只要三個步驟：建構網路、設定目標、開始學習，說穿了就是這麼簡單。」

AlphaGo by 黃士傑

(https://deepmind.com/research/alphago/alphago-china/)

「AlphaGo 很厲害，但是它只能下棋，它的架構就是為了圍棋而存在的，要拿去開車就必須要重新設計」
深度學習的原理與實作的門檻並不太高，真正的難處不在深度學習本身，而是在於如何將人類要解決的問題用數字來表達，
並設計成機器可以學習的架構，如何用數字來表示貓臉？用數字來描述圍棋？
這些都需要人類去定義，因此深度學習要進一步發展，最需要的其實是人才，剩下的，就是機器的事了。

而... 人類去定義 by Domain Expertise

http://ctext.org/art-of-war/zh?en=on

AlphaGo Zero
https://deepmind.com/blog/alphago-zero-learning-scratch/

Nature 刊登 Deepmind 論文，最強 AlphaGo Zero 已無需人類知識，AlphaGo 慘敗
https://www.inside.com.tw/2017/10/19/alphago-zero

AI Study網誌的最後... 數學 && 運算 && 策法

然後才能... 智慧 Intelligence!!!

Leonhard Euler

Robert Norton Noyce

本因坊秀策

Intelligence

Combo™ Huang

透過 AI 自然語言處理技術，加拿大團隊正試著解開伏尼契手稿內容