讀透深度學習、機器學習，發展人工智慧！
一、什麼是深度學習和機器學習？
1、深度學習
深度學習是機器學習中一種基於對資料進行表徵學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個圖元強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，
在這短短幾年時間裡，深度學習顛覆了語音辨識、圖像分類、文本理解等眾多領域的演算法設計思路，
2、機器學習
機器學習(Machine Learning, ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。
你可以這樣理解，人工智慧是一個嬰兒的大腦，機器學習就是嬰兒剛生下來具備的基本的本能，
還不懂嗎？用兩個故事給你解釋更好理解。
故事一：瑞雪兆豐年
我們中國有一句關於農業生產的古老諺語：瑞雪兆豐年。
就是說，如果前一年冬天下雪很大很多，那麼第二年莊稼豐收的可能性比較大。
這條諺語是怎麼來的呢？我們可以想像當時的情景：
第一年冬天
第二年收穫時節
第二年冬天
第三年收穫時節
第三年冬天
第四年收穫時節
年復一年，若干年後的冬天……
這就是瑞雪兆豐年的故事。頭年的瑞雪和來年的豐收，本是兩個看起來並不相關的現象，但是智慧的農民伯伯通過幾十年甚至幾代人的經驗，總結出了兩個現象之間的規律。
現代的農業學家通過科學的分析，弄清了瑞雪兆豐年規律背後的本質原理。但是對於古代農民伯伯來說，知道規律就足夠了，可以通過規律來為下一年的生產生活做出有效的調整。
故事二：啤酒和尿布
上個世紀90年代，沃爾瑪超市已經是美國最大的零售企業，擁有大量的顧客資源。那時候的沃爾瑪已經採用了先進的電腦技術，隨時記錄著每天眾多顧客購物車中所挑選的商品明細。
在其中一個普通的日子裡：
就這樣經年累月，沃爾瑪積累了大量的顧客購物資料。直到某一天，沃爾瑪的技術專家發現：
於是，這一嘗試實行以後……
從此，沃爾瑪的銷售額得到了顯著提升，啤酒尿布的故事也廣為流傳，成為了銷售界和IT界津津樂道的成功典範……
這就是沃爾瑪啤酒和尿布的故事。顧客購買啤酒的行為和顧客購買尿布的行為，原本是兩個看起來沒什麼關聯的現象。但是沃爾瑪的技術專家以大量的使用者購物資料為樣本，通過先進的演算法，最終尋找到了兩者之間的重要關聯和規律。
為什麼購買啤酒的人更有可能同時購買尿布呢？是因為有了小孩的男人比別人更愛喝啤酒？還是因為愛喝啤酒的男人比別人更顧家？這些臆測似乎都有些牽強。
但是沃爾瑪不需要關心規律背後的本質。對企業來講，利用發現的規律，獲得實實在在的利益就足夠了。
我們可以根據故事畫出這樣的流程圖：
可以把流程圖做一個補充：
以下是大對流程圖結果部分作出的調整。其中假設模型可以理解成訓練出來的降雪和收穫的規律，通過假設模型，從新一年降雪情況推斷出下一年收穫情況的過程叫做回歸。至於啤酒尿布的例子，屬於截然不同的機器學習類型，只需要找出關聯關係，並不需要進行回歸。
機器學習按照方式不同主要分為三大類，有監督學習(Supervised learning)、無監督學習(Unsupervised learning)以及半監督學習(Semi-supervised learning)。
監督學習：通過已有的一部分輸入資料與輸出資料之間的對應關係，生成一個函數，將輸入映射到合適的輸出。在瑞雪兆豐年的例子中，頭年降雪量就是輸入，來年畝產量就是輸出。
非監督學習：直接對輸入資料集進行建模，尋找關聯。例如啤酒尿布的例子，只需要尋找關聯性，並不需要什麼明確的目標值輸出。
半監督學習：綜合利用有輸入輸出的資料，和只有輸入的資料來進行訓練。可以簡單理解成監督學習和非監督學習的綜合。
這樣我們理解了機器學習，那對於深度學習就比較好理解了。其實深度學習是機器學習的技術手段，是機器學習的進一步深化。通俗的講深度學習是人類把類似人腦的思維賦予機器，機器通過人類給與機器的演算法，通過大資料篩選，輸出精確的結果的過程。
二、深度學習、機器學習、人工智慧的關係
要徹底搞清楚深度學習，必須知道機器學習、深度學習和人工智慧的關係。要搞清它們的關係，最直觀的表述方式就是同心圓，最先出現的是理念，然後是機器學習，當機器學習繁榮之後就出現了深度學習，深度學習是實現機器學習的技術手段，機器學習是抵達人工目標的一條路徑，有了深度學習人工智慧的未來才一片光明今，天的AI大爆發是由深度學習驅動的。
人工智慧是一類非常廣泛的問題，機器學習是解決這類問題的一個重要手段。深度學習則是機器學習的一個分支，是機器學習的發展和深化。在很多人工智慧問題上，深度學習的方法突破了傳統機器學習方法的瓶頸，推動了人工智慧領域的發展。有了深度學習，機器學習才有了許多實際的應用，它還拓展了AI的整體範圍。 深度學習將任務分拆，使得各種類型的機器輔助變成可能。
三、深度學習的優點和缺點
深度學習有四大關鍵優勢：
它能從特徵中檢測複雜的相互作用。
它能從幾乎沒有處理的原始資料中學習低層次的特徵。
它能處理高基數類成員。
它能處理未標記的資料。
綜上所述，擁有這四個優勢意味著深度學習可以得到有用的結果而其它方法得不到的有用結果；它能構建比使用其他方法更精確的模型；並且還能減少構建有用模型所需的時間。深度學習在變數間檢測相互作用，這些相互作用可能並不明顯。相互作用是兩個或多個變數組合在一起時產生的效果。比如，假設某種藥物在年輕婦女中會有副作用，但是在老年婦女中則沒有。一個由性別和年齡組合影響構建的預測模型效果要比單單使用性別影響構建的模型好。
常規的預測建模方法可以度量這些影響，但這需要大量的手工假設檢驗。深度學習自動檢測這些相互作用，不會依賴于分析師的專業知識或前期假設。它還會自動創建非線性相互作用，並且可以使用足夠的神經元來逼近任意函數，特別是在使用了深度神經網路的時候這種效果尤為明顯。
使用常規的預測分析方法，結果的好壞很大程度上取決於資料科學家使用特徵工程準備資料的能力，而這一個步驟需要相當多的專業知識和技能。而且特徵工程也很耗時。深度學習幾乎不需要處理原始資料，並自動學習最有預測性的特徵，而不需要對資料的正確分佈做假設。
深度學習可以很好地處理資料科學家口中的高基數類成員，這是一種具有非常多離散值的資料類型。這類型問題的現實例子有語音辨識，這段語音可能對應大量候選詞裡的某一個；圖像識別，特定的圖像對應大量圖像的某一張；推薦引擎，最佳推薦項可能是諸多候選項之一。
深度學習的另一個強項就是可以從未標記的資料中學習。未標記的資料缺少與當前問題相關的明確“意義”。常見的例子有未標記的圖像，視頻，新聞報導，推文和電腦日誌。事實上，如今資訊經濟產生的大多數據都是未標記的。深度學習可以在這類資料中檢測基本模式，歸類相似條目或者識別異常值。
深度學習的缺點：
然而，深度學習也有一些缺點。相對於其他機器學習方法，使用深度學習生成的模型非常難以解釋。這些模型可能有許多層和上千個節點；單獨解釋每一個是不可能的。資料科學家通過度量它們的預測結果來評估深度學習模型，但模型架構本身是個“黑盒”。
評論家有時候對深度學習的這方面特性持反對態度，但牢記分析的目的是重要的。例如，如果分析的主要目的是解釋方差或者處理結果，選擇深度學習可能是錯誤的。然而，也可以根據其重要性對預測變數排序，這也是資料科學家經常要實現的。部分依賴圖可以為資料科學家提供視覺化深度學習模型的功能。
深度學習同樣也有其他機器學習方法的傾向，對訓練資料過度學習。這意味著演算法“記住了”訓練資料的特徵，在模型將要使用的生產環境中，這些被記住的特徵可能會也可能不會被用到。這一問題並不只出現在深度學習之中，這可以通過獨立驗證來避免。
由於深度學習模型很複雜，它們需要大量的計算性能來構建。雖然計算成本已經大幅下降，但是計算仍舊不是免費的。對於小資料集的簡單問題，在計算開銷和時間相同的情況下，深度學習可能不會比更簡單方法產生足夠的額外效果。
複雜性同樣是部署的一個潛在問題。NetFlix從來沒有部署那個贏得了100萬美元獎勵的模型，因為工程成本太高了。在測試資料上表現良好但無法落實的預測模型是沒有實際用途的。
深度學習並不是新鮮的技術，原始的深度學習技術早在上世紀50年代就出現了。但是隨著計算成本的下降，資料量的提升，技術的進步，業界對深度學習的興趣激增。無需專業知識，費時的特徵工程，甚至大量的資料準備，深度學習可以發現大量資料集中隱藏的關係，它已經成為一種解決日益增長業務問題的引人注目的方法。
四、機器學習的常用演算法優缺點
五、深度學習到底在做什麼事情?
實際上它所做的事情抽象出來是比較簡單的，就是在做一個從X到Y的回歸、或者說從A到B的Mapping(對應)--你給它一個輸入，它怎麼樣給出一個對應的輸出?特殊的地方就是深度學習把這件事情做得非常非常好。以前也有其他演算法可以做，只不過一直做不過人，現在深度學習做到了極致。
比如說給了一張人臉照片，它就可以給你對應出這個人的名字;給一個物體的形狀，它就可以告訴你是什麼物體;給一個車的行駛場景，它就可以給你輸出這個車應該往哪兒拐;給一個棋局，它能算出下一步怎麼走;給一個醫療的圖像，它就能幫你判斷這是什麼病……實際上就是這樣的一個過程。不要把人工智慧想像成可以超越人類，可以控制人類，這些都是所謂的“好萊塢的人工智慧”或者想像中的人工智慧，真正人工智慧在現在這個階段其實就是做這麼簡單的事，當然，做成這個簡單的事情其實已經很不簡單了。
六、深度學習的突破?
最近這幾年深度學習確實在學術界、工業界取得了重大的突破。第一個突破是在語音辨識上，語音辨識取得了巨大成功以後，深度學習緊接著在視覺方面又取得了重大突破。接著人工智慧在自動駕駛領域也取得了一些重大的突破，現在比較熱門的是醫療影像方面，借助人工智慧進行診斷。
深度學習有三個核心的要素：學習演算法的設計，你設計的大腦到底夠不夠聰明;要有高性能的計算能力，訓練一個大的網路;必須要有大資料。
我們搞清楚了機器學習和深度學習，人工智慧真正落地的還是深度學習，發展人工智慧是未來一大趨勢。
故事一：瑞雪兆豐年
我們中國有一句關於農業生產的古老諺語：瑞雪兆豐年。
就是說，如果前一年冬天下雪很大很多，那麼第二年莊稼豐收的可能性比較大。
這條諺語是怎麼來的呢？我們可以想像當時的情景：
第一年冬天
第二年收穫時節
第二年冬天
第三年收穫時節
第三年冬天
第四年收穫時節
年復一年，若干年後的冬天……
這就是瑞雪兆豐年的故事。頭年的瑞雪和來年的豐收，本是兩個看起來並不相關的現象，但是智慧的農民伯伯通過幾十年甚至幾代人的經驗，總結出了兩個現象之間的規律。
現代的農業學家通過科學的分析，弄清了瑞雪兆豐年規律背後的本質原理。但是對於古代農民伯伯來說，知道規律就足夠了，可以通過規律來為下一年的生產生活做出有效的調整。
故事二：啤酒和尿布
上個世紀90年代，沃爾瑪超市已經是美國最大的零售企業，擁有大量的顧客資源。那時候的沃爾瑪已經採用了先進的電腦技術，隨時記錄著每天眾多顧客購物車中所挑選的商品明細。
在其中一個普通的日子裡：
就這樣經年累月，沃爾瑪積累了大量的顧客購物資料。直到某一天，沃爾瑪的技術專家發現：
於是，這一嘗試實行以後……
從此，沃爾瑪的銷售額得到了顯著提升，啤酒尿布的故事也廣為流傳，成為了銷售界和IT界津津樂道的成功典範……
這就是沃爾瑪啤酒和尿布的故事。顧客購買啤酒的行為和顧客購買尿布的行為，原本是兩個看起來沒什麼關聯的現象。但是沃爾瑪的技術專家以大量的使用者購物資料為樣本，通過先進的演算法，最終尋找到了兩者之間的重要關聯和規律。
為什麼購買啤酒的人更有可能同時購買尿布呢？是因為有了小孩的男人比別人更愛喝啤酒？還是因為愛喝啤酒的男人比別人更顧家？這些臆測似乎都有些牽強。
但是沃爾瑪不需要關心規律背後的本質。對企業來講，利用發現的規律，獲得實實在在的利益就足夠了。
我們可以根據故事畫出這樣的流程圖：
可以把流程圖做一個補充：
以下是大對流程圖結果部分作出的調整。其中假設模型可以理解成訓練出來的降雪和收穫的規律，通過假設模型，從新一年降雪情況推斷出下一年收穫情況的過程叫做回歸。至於啤酒尿布的例子，屬於截然不同的機器學習類型，只需要找出關聯關係，並不需要進行回歸。
機器學習按照方式不同主要分為三大類，有監督學習(Supervised learning)、無監督學習(Unsupervised learning)以及半監督學習(Semi-supervised learning)。
監督學習：通過已有的一部分輸入資料與輸出資料之間的對應關係，生成一個函數，將輸入映射到合適的輸出。在瑞雪兆豐年的例子中，頭年降雪量就是輸入，來年畝產量就是輸出。
非監督學習：直接對輸入資料集進行建模，尋找關聯。例如啤酒尿布的例子，只需要尋找關聯性，並不需要什麼明確的目標值輸出。
半監督學習：綜合利用有輸入輸出的資料，和只有輸入的資料來進行訓練。可以簡單理解成監督學習和非監督學習的綜合。
這樣我們理解了機器學習，那對於深度學習就比較好理解了。其實深度學習是機器學習的技術手段，是機器學習的進一步深化。通俗的講深度學習是人類把類似人腦的思維賦予機器，機器通過人類給與機器的演算法，通過大資料篩選，輸出精確的結果的過程。
二、深度學習、機器學習、人工智慧的關係
要徹底搞清楚深度學習，必須知道機器學習、深度學習和人工智慧的關係。要搞清它們的關係，最直觀的表述方式就是同心圓，最先出現的是理念，然後是機器學習，當機器學習繁榮之後就出現了深度學習，深度學習是實現機器學習的技術手段，機器學習是抵達人工目標的一條路徑，有了深度學習人工智慧的未來才一片光明今，天的AI大爆發是由深度學習驅動的。
人工智慧是一類非常廣泛的問題，機器學習是解決這類問題的一個重要手段。深度學習則是機器學習的一個分支，是機器學習的發展和深化。在很多人工智慧問題上，深度學習的方法突破了傳統機器學習方法的瓶頸，推動了人工智慧領域的發展。有了深度學習，機器學習才有了許多實際的應用，它還拓展了AI的整體範圍。 深度學習將任務分拆，使得各種類型的機器輔助變成可能。
三、深度學習的優點和缺點
深度學習有四大關鍵優勢：
它能從特徵中檢測複雜的相互作用。
它能從幾乎沒有處理的原始資料中學習低層次的特徵。
它能處理高基數類成員。
它能處理未標記的資料。
綜上所述，擁有這四個優勢意味著深度學習可以得到有用的結果而其它方法得不到的有用結果；它能構建比使用其他方法更精確的模型；並且還能減少構建有用模型所需的時間。深度學習在變數間檢測相互作用，這些相互作用可能並不明顯。相互作用是兩個或多個變數組合在一起時產生的效果。比如，假設某種藥物在年輕婦女中會有副作用，但是在老年婦女中則沒有。一個由性別和年齡組合影響構建的預測模型效果要比單單使用性別影響構建的模型好。
常規的預測建模方法可以度量這些影響，但這需要大量的手工假設檢驗。深度學習自動檢測這些相互作用，不會依賴于分析師的專業知識或前期假設。它還會自動創建非線性相互作用，並且可以使用足夠的神經元來逼近任意函數，特別是在使用了深度神經網路的時候這種效果尤為明顯。
使用常規的預測分析方法，結果的好壞很大程度上取決於資料科學家使用特徵工程準備資料的能力，而這一個步驟需要相當多的專業知識和技能。而且特徵工程也很耗時。深度學習幾乎不需要處理原始資料，並自動學習最有預測性的特徵，而不需要對資料的正確分佈做假設。
深度學習可以很好地處理資料科學家口中的高基數類成員，這是一種具有非常多離散值的資料類型。這類型問題的現實例子有語音辨識，這段語音可能對應大量候選詞裡的某一個；圖像識別，特定的圖像對應大量圖像的某一張；推薦引擎，最佳推薦項可能是諸多候選項之一。
深度學習的另一個強項就是可以從未標記的資料中學習。未標記的資料缺少與當前問題相關的明確“意義”。常見的例子有未標記的圖像，視頻，新聞報導，推文和電腦日誌。事實上，如今資訊經濟產生的大多數據都是未標記的。深度學習可以在這類資料中檢測基本模式，歸類相似條目或者識別異常值。
深度學習的缺點：
然而，深度學習也有一些缺點。相對於其他機器學習方法，使用深度學習生成的模型非常難以解釋。這些模型可能有許多層和上千個節點；單獨解釋每一個是不可能的。資料科學家通過度量它們的預測結果來評估深度學習模型，但模型架構本身是個“黑盒”。
評論家有時候對深度學習的這方面特性持反對態度，但牢記分析的目的是重要的。例如，如果分析的主要目的是解釋方差或者處理結果，選擇深度學習可能是錯誤的。然而，也可以根據其重要性對預測變數排序，這也是資料科學家經常要實現的。部分依賴圖可以為資料科學家提供視覺化深度學習模型的功能。
深度學習同樣也有其他機器學習方法的傾向，對訓練資料過度學習。這意味著演算法“記住了”訓練資料的特徵，在模型將要使用的生產環境中，這些被記住的特徵可能會也可能不會被用到。這一問題並不只出現在深度學習之中，這可以通過獨立驗證來避免。
由於深度學習模型很複雜，它們需要大量的計算性能來構建。雖然計算成本已經大幅下降，但是計算仍舊不是免費的。對於小資料集的簡單問題，在計算開銷和時間相同的情況下，深度學習可能不會比更簡單方法產生足夠的額外效果。
複雜性同樣是部署的一個潛在問題。NetFlix從來沒有部署那個贏得了100萬美元獎勵的模型，因為工程成本太高了。在測試資料上表現良好但無法落實的預測模型是沒有實際用途的。
深度學習並不是新鮮的技術，原始的深度學習技術早在上世紀50年代就出現了。但是隨著計算成本的下降，資料量的提升，技術的進步，業界對深度學習的興趣激增。無需專業知識，費時的特徵工程，甚至大量的資料準備，深度學習可以發現大量資料集中隱藏的關係，它已經成為一種解決日益增長業務問題的引人注目的方法。
四、機器學習的常用演算法優缺點
五、深度學習到底在做什麼事情?
實際上它所做的事情抽象出來是比較簡單的，就是在做一個從X到Y的回歸、或者說從A到B的Mapping(對應)--你給它一個輸入，它怎麼樣給出一個對應的輸出?特殊的地方就是深度學習把這件事情做得非常非常好。以前也有其他演算法可以做，只不過一直做不過人，現在深度學習做到了極致。
比如說給了一張人臉照片，它就可以給你對應出這個人的名字;給一個物體的形狀，它就可以告訴你是什麼物體;給一個車的行駛場景，它就可以給你輸出這個車應該往哪兒拐;給一個棋局，它能算出下一步怎麼走;給一個醫療的圖像，它就能幫你判斷這是什麼病……實際上就是這樣的一個過程。不要把人工智慧想像成可以超越人類，可以控制人類，這些都是所謂的“好萊塢的人工智慧”或者想像中的人工智慧，真正人工智慧在現在這個階段其實就是做這麼簡單的事，當然，做成這個簡單的事情其實已經很不簡單了。
六、深度學習的突破?
最近這幾年深度學習確實在學術界、工業界取得了重大的突破。第一個突破是在語音辨識上，語音辨識取得了巨大成功以後，深度學習緊接著在視覺方面又取得了重大突破。接著人工智慧在自動駕駛領域也取得了一些重大的突破，現在比較熱門的是醫療影像方面，借助人工智慧進行診斷。
深度學習有三個核心的要素：學習演算法的設計，你設計的大腦到底夠不夠聰明;要有高性能的計算能力，訓練一個大的網路;必須要有大資料。
我們搞清楚了機器學習和深度學習，人工智慧真正落地的還是深度學習，發展人工智慧是未來一大趨勢。