資源｜深度學習中的代碼資源庫（一）影像處理篇

本文是集智小仙女為大家整理的代碼資源庫—影像處理篇，收集了大量深度學習專案影像處理領域的代碼連結。包括圖像識別，圖像生成，看圖說話等等方向的代碼,所有代碼均按照所屬技術領域附有連結。大家同時可戳知乎中的連結索引，直接進入相應連結。知乎：https://zhuanlan.zhihu.com/p/28601032?utm_source=wechat_session&utm_medium=social

1、圖像生成

1.1 繪畫風格到圖片的轉換：Neural Style

1.2 圖像類比轉換：image-analogies

1.3 根據塗鴉生成圖片：Neural Doodle

1.4 匹根據塗鴉類比圖片：Sketchy

1.5 根據圖片生成鉛筆畫：Pencil

1.6 手寫文字類比：rnnlib

1.7 轉換風景圖片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes

1.8 圖片變Emojis表情：What emojis will the Emojini 3000 grant your photos?

1.9 增加圖片解析度：srez

1.10 圖片自動上色：Colornet

1.11 生成可愛的動漫頭像：AnimeGAN

1.12 騾子變斑馬：CycleGAN and pix2pix in PyTorch

1.13 強大的圖像生成器：DiscoGAN in PyTorch

1.14 使用RNN生成手寫數位：DRAW implmentation

1.15 使用CNN來放大圖片：waifu2x

2、看圖說話

2.1 根據圖片生成一段描述：Show and Tell

2.2 根據圖片講故事：neural-storyteller

2.3 根據圖片將故事2:NeuralTalk2

2.4 識別圖片中的文字：CRNN for image-based sequence recognition

3、圖像識別

3.1 用於物體識別的全卷積網路：PyTorch-FCN

3.2 引入注意力的卷積網路：Attention Transfer

3.3 物體識別實例：Deep-Learning

3.4 物體識別API：Tensorflow Object Detection API

3.5 推理場景結構：SfMLearner

3.6 用於分辨色情圖像的open_nsfw

3.7 人臉識別：Open Face

3.8 易用人臉識別：Face_recognition

3.9 快速人臉識別：MobileID

3.10 圖像識別框架1：AlexNet & VGG Net & GoogleNet & ResNet

3.11 圖像識別框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet

3.12 預訓練的圖像識別模型：functional-zoo

3.13 預定義的CNN篩檢程式： PyScatWave

3.14 計算圖片中物體的相似度：Conditional Similarity Networks (CSNs)

3.15 量子化學中的神經資訊傳遞(?_?;Neural Message Passing for Quantum Chemistry

4 、圖像理解

4.1 Visual Question Answering in Pytorch

4.2 Facebook看圖答題：Clevr-IEP

圖像生成

繪畫風格到圖片的轉換：Neural Style

https://github.com/jcjohnson/neural-style

這個項目是用 Torch 對 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的論文“A Neural Algorithm of Artistic Style”的一個實現。論文中提出一種演算法，用卷積神經網路將一幅圖像的內容與另一幅圖像的風格進行組合。

圖像類比轉換：image-analogies

https://github.com/awentzonline/image-analogies

“神經圖像類比”（neural image analogies）這個項目基本上是 A. Hertzmann et. al（2001）的論文“Image Analogies”的一個實現。在這個項目中，我們使用了 VGG16 的特徵，利用 Chuan Li, Michael Wand (2016) 的論文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中描述的方法進行patch的匹配和混合。初始代碼改編自 Keras 的“神經風格遷移”示例。

根據塗鴉生成圖片：Neural Doodle

https://github.com/alexjc/neural-doodle

使用深度神經網路把你的二流塗鴉變成藝術一般的作品！這個項目是 Champandard（2016）的論文 “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks”的一個實現，基於 Chuan Li 和 Michael Wand（2016）在論文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中提出的 Neural Patches 演算法。

根據塗鴉類比圖片：Sketchy

https://github.com/janesjanes/sketchy

這個專案可以根據使用者手繪的塗鴉，匹配出類似的圖片。

根據圖片生成鉛筆畫：Pencil

https://github.com/fumin/pencil

把一副圖像變成鉛筆水粉畫。

手寫文字類比：rnnlib

https://github.com/szcom/rnnlib

這個專案可以做到手寫文字類比。

轉換風景圖片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes

http://transattr.cs.brown.edu

這個專案可以識別和理解圖片中的風景，並且可以根據使用者提出的條件，

定向改變原風景畫中的環境（比如more night）

圖片變Emojis表情：What emojis will the Emojini 3000 grant your photos?

http://engineering.curalate.com/2016/01/20/emojinet.html

將使用者提供的圖片轉化成相關的表情圖示

增加圖片解析度：srez

https://github.com/david-gpu/srez

srez（super-resolution through deep learning），即通過深度學習實現圖像超解析度。這個項目是利用深度學習將 16x16 的圖像解析度增加 4 倍，基於用來訓練神經網路的資料集，所得到的圖像具有鮮明的特徵。

圖片自動上色：Colornet

https://github.com/pavelgonchar/colornet

Colornet 是一個給灰度圖像自動上色的神經網路。

生成可愛的動漫頭像：AnimeGAN

https://github.com/jayleicn/animeGAN

使用PyTorch實現的GAN，可以自訂生成漂亮的動漫妹子頭像，附帶訓練資料集哦！

騾子變斑馬：CycleGAN and pix2pix in PyTorch

https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.git

圖到圖的翻譯，著名的 CycleGAN 以及 pix2pix 的PyTorch 實現。

強大的圖像生成器：DiscoGAN in PyTorch

https://github.com/carpedm20/DiscoGAN-pytorch.git

《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》的 PyTorch 實現。

使用RNN生成手寫數位：DRAW implmentation

https://github.com/skaae/lasagne-draw

使用RNN生成手寫體數位。

使用CNN來放大圖片：waifu2x

https://github.com/nagadomi/waifu2x

使用CNN來放大圖片，與普通圖片放大不同的是，使用CNN“生成”放大，使低解析度的圖片在放大後也不會出現圖元鋸齒。

看圖說話

根據圖片生成一段描述：Show and Tell

https://github.com/tensorflow/models/tree/master/im2txt

這是 Oriol Vinyals et. al.（2016）的論文“Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge”的用TensorFlow實現的 image-to-text 圖片說明生成模型。

根據圖片講故事：neural-storyteller

https://github.com/ryankiros/neural-storyteller

Neural-storyteller 是一個能夠根據圖像內容生成一個小故事的迴圈神經網路。這個 GitHub 庫裡包含了使用任意圖像生成故事的代碼，以及用於訓練新模型的說明。

根據圖片將故事2:NeuralTalk2

https://github.com/karpathy/neuraltalk2

迴圈神經網路（RNN）可以用於給圖像取標題。 NeuralTalk2 比原始版本的 NeuralTalk 更快而且性能更好。與原來的 NeuralTalk 相比， NeuralTalk2 的實現是批量的，可以使用 Torch 在 GPU上運行，並且支援 CNN 微調。這些都使得語言模型（~100x）的訓練速度大大加快，但由於我們還有一個 VGGNet，因此總體上的提升沒有很多。但是這仍然是個好模型，可以在 2~3 天裡訓練好，而且表現出的性能非常好。

識別圖片中的文字：CRNN for image-based sequence recognition

https://github.com/bgshih/crnn.git

這個是 Convolutional Recurrent Neural Network (CRNN) 的 PyTorch 實現。 CRNN 由一些CNN， RNN和CTC組成，常用於基於圖像的序列識別任務，例如場景文本識別和OCR。

圖像識別

用於物體識別的全卷積網路：PyTorch-FCN

https://github.com/wkentaro/pytorch-fcn.git

一個性能出眾的物體識別全卷積神經網路，使用PyTorch實現。

引入注意力的卷積網路：Attention Transfer

https://github.com/szagoruyko/attention-transfer.git

論文 "Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer" 的PyTorch實現。

物體識別實例：Deep-Learning

https://github.com/priya-dwivedi/Deep-Learning/blob/master/Object_Detection_Tensorflow_API.ipynb

一個基於Ipython Notebook的物體識別實例，使用了Tensorflow Object Dectection API

物體識別API：Tensorflow Object Detection API

https://github.com/tensorflow/models/tree/master/object_detection

Google Tensorflow Object Dectection API 的開原始程式碼。

推理場景結構：SfMLearner

https://github.com/tinghuiz/SfMLearner

用單張圖片推理場景結構：UC Berkeley提出3D景深聯合學習方法

用於分辨色情圖像的open_nsfw

https://github.com/yahoo/open_nsfw

這是雅虎構建的用於檢測圖片是否包含不適宜工作場所（NSFW）內容的深度神經網路專案， GitHub 庫中包含了網路的 Caffe 模型的代碼。檢測具有攻擊性或成人內容的圖像是研究人員進行了幾十年的一個難題。隨著電腦視覺技術和深度學習的發展，演算法已經成熟，雅虎的這個模型能以更高的精度分辨色情圖像。由於 NSFW 界定其實是很主觀的，有的人反感的東西可能其他人並不覺得如何。雅虎的這個深度神經網路只關注NSFW內容的一種類型，即色情圖片，所以該模型不適用於檢測素描、文字、動畫、暴力圖片等內容。

人臉識別：Open Face

https://github.com/cmusatyalab/openface

OpenFace 是一個使用深度神經網路，用 Python 和 Torch 實現人臉識別的項目。神經網路模型基於 Google Florian Schroff 等人的 CVPR 2015 論文“FaceNet: A Unified Embedding for Face Recognition and Clustering” ，Torch 讓網路可以在 CPU 或 CUDA 上運行。

易用人臉識別：Face_recognition

https://github.com/ageitgey/face_recognition#face-recognition

這也提供了一個簡單的 face_recognition 命令列工具，你可以打開命令列中任意影像檔夾，進行人臉識別！

快速人臉識別：MobileID

https://github.com/liuziwei7/mobile-id

據說是個超級快速的人臉識別程式，可以用在手機上

圖像識別框架1：AlexNet & VGG Net & GoogleNet & ResNet

AlexNet

https://gist.github.com/JBed/c2fb3ce8ed299f197eff

VGG Ne

https://github.com/fchollet/keras/blob/master/keras/applications/vgg16.py

GoogleNet

https://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py

ResNet

https://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py

圖像識別框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet

ResNeXt

https://github.com/titu1994/Keras-ResNeXt

RCNN (基於區域的 CNN)

https://github.com/yhenon/keras-frcnn

YOLO (You Only Look once)

https://github.com/allanzelener/YAD2K

SqueezeNet

https://github.com/rcmalli/keras-squeezenet

SegNet

https://github.com/imlab-uiip/keras-segnet

預訓練的圖像識別模型：functional-zoo

https://github.com/szagoruyko/functional-zoo.git

由PyTorch和Tensorflow實現的常用圖像識別模型包含預訓練參數。

預定義的CNN篩檢程式： PyScatWave

https://github.com/edouardoyallon/pyscatwave

一套預定義的filter，用於增強圖像識別的效果。

計算圖片中物體的相似度：Conditional Similarity Networks (CSNs)

https://github.com/andreasveit/conditional-similarity-networks.git

《Conditional Similarity Networks》的PyTorch實現，可以根據不同的條件計算圖片中物體的相似度。

量子化學中的神經資訊傳遞(Neural Message Passing for Quantum Chemistry)

https://github.com/priba/nmp_qc.git

論文《Neural Message Passing for Quantum Chemistry》的PyTorch實現，講的是量子化學裡的神經資訊傳遞！聽起來碉堡了。

圖像理解

Visual Question Answering in Pytorch

https://github.com/Cadene/vqa.pytorch.git

一個PyTorch實現的優秀視覺推理問答系統，是基於論文《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》實現的。專案中有詳細的配置使用方法說明。

Facebook看圖答題：Clevr-IEP

https://github.com/facebookresearch/clevr-iep.git

Facebook Research 論文《Inferring and Executing Programs for Visual Reasoning》的PyTorch實現，講的是一個可以基於圖片進行關係推理問答的網路。

更多關於深度學習專案的代碼連結，視頻類、聲音類、語言類、遊戲類、文本類等，關注公眾號我們會持續更新，敬請期待......

自學容易走彎路？

快來跟張江教授學習深度學習&PyTorch吧！

集智AI學園重磅推出系列直播課

重磅系列課：火炬上的深度學習（上）

http://campus.swarma.org/gapp=120

更有強大的助教團隊

李周園

清華大學博士、荷蘭Wageningen大學WIMEK學者，遙感資料採擷方向。

胡勝

中國地質大學（武漢）碩士、攻讀博士，空間資料採擷和智慧交通方向，熟悉Python語言。

孫穎寶

荷蘭Wageningen大學遙感與地理資訊實驗室研究生，熟悉R、Python語言。

蘇尚君

前運維開發工程師、現Udacity機器學習課程助教，熟悉Python語言，GitHub使用者、有“簡書”技術專欄。

任偉

中國科學院大學博士，氣候系統與碳迴圈方向，有深度學習技術基礎，熟悉資料採擷與空間分析。

張慶逸

學生，有程式設計工作經驗，瞭解Python語言。

打包組課只需499￥

可開發票

團購享優惠