夏乙 安妮 編譯整理
量子位 出品 | 公眾號 QbitAI
給喜歡的動漫形象建個了我的最愛， 裡面收集她的各種圖片……懂， 誰沒幾個喜歡的動漫萌妹呢。
一些手繪線稿也很可愛， 但黑白配色總會略顯單調。
△ 請記住這張線稿
半年前線稿上色AI style2paints的破殼曾讓自動上色火了一陣。 好消息是， 昨天， 升級版本style2paints 2.0也問世了！
Demo也一併放出， 用戶可以隨意試玩~
△ Demo介面
據作者說， style2paints 2.0比一代效果更好， 而且模型的訓練過程是無監督的。
只需線稿一張， 輕點一下， 就能給你珍藏的心愛萌妹上個色。
△ 上麵線稿的轉換效果
贊贊的！不僅如此， 換一張其他的彩色參考圖， 也能將線稿轉化成另一種顏色風格。
比如我們輸入下面這張參考圖：
上面那張示例圖就變成了下面的效果——
還可以從參考圖中選取顏色， 然後用筆線上稿的某個區域上點一下， AI就會按你的提示去重新填充——
支援微調的線稿上色軟體不止一家，
為了確保最終畫作顏色協調， style2paints還玩了一點小心機：用戶不能自己輸入顏色， 只能從參考圖上選。
△ 使用教程
並不簡單玩得盡興之後， 你可能會說， 風格遷移嘛， 我們見得多了~
但是， 把黑白照片變成彩色照片， 和把沒有陰影高光的線稿變成彩色圖畫難度不同。
這種由純線條構成的草圖不包含圖案的明暗和紋理。 也就是說， AI需要自動腦補出這些資訊。
何況style2paints作者對線稿上色的期望， 實在是比較高， 並不是在線條之間填一些顏色就完事了：
在一幅好漫畫裡， 妹紙的眼睛要像星系一樣閃亮， 臉頰要彌漫著紅暈， 皮膚要精緻迷人。
△ 大概是這個效果吧
這怎麼做得到！
style2paints 2.0目前還沒有相關論文放出，只有代碼可供參考。不過，今年6月問世的第一版其實效果還可以，實現了基於語義資訊遷移的顏色提示，讓上色效果更加和諧。
具體的原理可以看當時的論文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
，來自蘇州大學的三位作者Lvmin Zhang, Yi Ji, Xin Lin介紹了怎樣將集合的剩餘U-Net樣式應用到灰度圖中，並借助分類器生成的對抗網路(AC-GAN)自動為圖像上色。生成過程迅速，效果尚好。
論文地址：
https://arxiv.org/abs/1706.03319
不一樣的2.0style2paints第一版推出之後非常火，量子位的不少朋友都上手玩過。
不過，他們的主要競品paintschainer不停反覆運算，後來，上色的效果漸漸超越了style2paints 1.0，於是，作者們也坐不住了，開始研究新方法，更新了一版出來。
那麼，2.0和1.0有什麼不一樣嗎？
巧了，國外的網友也很關心。作者在Reddit上回答說，和上一版相比，style2paints 2.0大部分訓練都是純粹無監督，甚至無條件的。
也就是說，在這個模型的訓練過程中，除了對抗規則之外沒有添加其他的人工定義規則，沒有規則來強迫生成器神經網路照著線稿畫畫，而是靠神經網路自己發現，如果遵照線稿，會更容易騙過鑒別器。
pix2pix、CycleGAN等同類模型為了確保收斂，會對學習物件添加l1 loss，鑒別器接收到的資料是成對的[input, training data]和[input, fake output]。而style2paints 2.0模型的學習目標和經典DCGAN完全相同，沒有添加其他規則，鑒別器收到的也不是成對的輸出。
作者說，讓這樣一個模型收斂其實是很難的，何況神經網路這麼深。
不過你看，結果還不錯。
線稿上色的江湖線稿上色的程式，其實有很多，比如說：
Paintschainer
https://paintschainer.preferred.tech/index_en.html
Deepcolor
https://github.com/kvfrans/deepcolor
Auto-painter
https://arxiv.org/abs/1705.01908
除了paintschainer，其他的同類產品其實作者是不太看得上的。
他說，很多亞洲論文都號稱能遷移漫畫風格，但是仔細看論文，會發現他們所謂的“新方法”就是個調整過的VGG，雖說VGG在風格遷移任務上普遍表現不錯，但是用在漫畫上，效果總是不怎麼好。
還是得靠GAN，而且得允許用戶上傳風格參考圖，像Prisma那樣從莫内梵古裡選可不行，莫内梵古又不會畫漫畫。
試試不？上手玩一下Demo：
http://paintstransfer.com/
論文還沒出來，不過可以看原始程式碼呀：
https://github.com/lllyasviel/style2paints
作者對上一版的介紹：
https://zhuanlan.zhihu.com/p/29331219
— 完 —
誠摯招聘
皮膚要精緻迷人。
△ 大概是這個效果吧
這怎麼做得到！
style2paints 2.0目前還沒有相關論文放出，只有代碼可供參考。不過，今年6月問世的第一版其實效果還可以，實現了基於語義資訊遷移的顏色提示，讓上色效果更加和諧。
具體的原理可以看當時的論文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
，來自蘇州大學的三位作者Lvmin Zhang, Yi Ji, Xin Lin介紹了怎樣將集合的剩餘U-Net樣式應用到灰度圖中，並借助分類器生成的對抗網路(AC-GAN)自動為圖像上色。生成過程迅速，效果尚好。
論文地址：
https://arxiv.org/abs/1706.03319
不一樣的2.0style2paints第一版推出之後非常火，量子位的不少朋友都上手玩過。
不過，他們的主要競品paintschainer不停反覆運算，後來，上色的效果漸漸超越了style2paints 1.0，於是，作者們也坐不住了，開始研究新方法，更新了一版出來。
那麼，2.0和1.0有什麼不一樣嗎？
巧了，國外的網友也很關心。作者在Reddit上回答說，和上一版相比，style2paints 2.0大部分訓練都是純粹無監督，甚至無條件的。
也就是說，在這個模型的訓練過程中，除了對抗規則之外沒有添加其他的人工定義規則，沒有規則來強迫生成器神經網路照著線稿畫畫，而是靠神經網路自己發現，如果遵照線稿，會更容易騙過鑒別器。
pix2pix、CycleGAN等同類模型為了確保收斂，會對學習物件添加l1 loss，鑒別器接收到的資料是成對的[input, training data]和[input, fake output]。而style2paints 2.0模型的學習目標和經典DCGAN完全相同，沒有添加其他規則，鑒別器收到的也不是成對的輸出。
作者說，讓這樣一個模型收斂其實是很難的，何況神經網路這麼深。
不過你看，結果還不錯。
線稿上色的江湖線稿上色的程式，其實有很多，比如說：
Paintschainer
https://paintschainer.preferred.tech/index_en.html
Deepcolor
https://github.com/kvfrans/deepcolor
Auto-painter
https://arxiv.org/abs/1705.01908
除了paintschainer，其他的同類產品其實作者是不太看得上的。
他說，很多亞洲論文都號稱能遷移漫畫風格，但是仔細看論文，會發現他們所謂的“新方法”就是個調整過的VGG，雖說VGG在風格遷移任務上普遍表現不錯，但是用在漫畫上，效果總是不怎麼好。
還是得靠GAN，而且得允許用戶上傳風格參考圖，像Prisma那樣從莫内梵古裡選可不行，莫内梵古又不會畫漫畫。
試試不？上手玩一下Demo：
http://paintstransfer.com/
論文還沒出來，不過可以看原始程式碼呀：
https://github.com/lllyasviel/style2paints
作者對上一版的介紹：
https://zhuanlan.zhihu.com/p/29331219
— 完 —
誠摯招聘