視頻圖像與人們的生產生活息息相關， 是人類獲取和交換資訊的主要來源， 據統計人類有80％以上的資訊來自於視頻圖像。 在人類歷史發展過程中， 視覺感知在學習、生產和各種知識傳承中佔據了主要作用。 視頻技術也在不斷地發展， 從576i到現在的4k， 以及未來的8k， 解析度擴大了幾十倍， 不斷地滿足了人們對視頻高清的需求。 高清晰度的視頻在各個領域的應用越來越廣， 3D技術也日趨成熟， 需要對海量視頻資料進行複雜處理的應用越來越多， 這個趨勢也倒逼視頻處理晶片行業不斷前行。 縱觀中國這10年視頻處理行業的發展，
完整的視頻處理流程包含了視頻採集、視頻處理、視頻傳輸和視頻顯示4大部分， 每一個環節都是緊緊相扣， 如何一個環節拖後腿， 都是會導致整個視頻生態圈的問題。 但是， 在這4個環節中， 重中之重是視頻處理。 視頻處理IC的優劣直接決定了圖像的效果。 視頻處理包含了視頻編解碼、視頻圖像去隔行、視頻格式轉換等。
視頻編解碼晶片， 原是國外廠商的天下
視頻編解碼， 目前在網路上傳輸比較流行的是H.264與H.265。 H.264/MPEG-4 AVC（H.264）是1995年自MPEG-2視訊壓縮標準發佈以後的最新、最有前途的視訊壓縮標準。 H.264是由ITU-T和ISO/IEC的聯合開發組共同開發的最新國際視頻編碼標準。 通過該標準， 在同等圖像品質下的壓縮效率比以前的標準提高了2倍以上，
圖一 H.264編解碼流程
H.264標準的使用了幾個關鍵技術， 分別是幀內預測編碼、幀間預測編碼、整數變換、量化和熵編碼。 幀內編碼用來縮減圖像的空間冗餘。
由於H.264具備高壓縮性， 同時適合在網路裡邊進出傳輸， 隨著互聯網地不斷發展， 各個半導體廠家也看到了這個金礦。 2005年起， 美國的TI、安霸、NXP、臺灣的TEWELL、日本的SONY、SHARP等一大批國家半導體企業或者電子企業將目光投入到了H.264編碼晶片上，
可以說， 在2010年之前， 國內的自研晶片基本處於樣機或者自用階段， 市場的接受度非常的低。 據粗略資料統計， 見下圖二， 國產晶片的占比只有1%左右， 國外晶片占比95%以上， TI半導體巨頭佔領了中國幾乎一半市場。 其原因在於國外廠家有豐富的經驗積累， 深耕在這個領域多年， 熟悉產業的特點， 國產晶片的穩定性也有待提高。 當時， 應用視頻行業的廠家， 對於晶片的選型基本只考慮國外晶片， 選擇國內晶片的鳳毛麟角。
圖二 2006年編解碼晶片國內出貨占比
國產廠商的橫空出世， 華為海思表現搶眼
對於蓬勃發展的視頻編解碼市場， 上游晶片廠家如TI、安霸等從未停止過競爭， 國外廠家的技術與積累一直都處於領先地位， 但是近年來， 國內廠家如華為海思等也不斷地在產業上游下功夫， 在某些技術領域取得一定的領先地位， 通過專利和技術突破構建市場堡壘， 形成競爭優勢。
中星微電子從2006年開始啟動IP視頻監控系統的研發和設計， 並在網路攝像機專用晶片、解碼終端以及在視頻監控平臺方面持續投入，取得了耀眼的成果。2014年，中星發佈新產品718和736晶片：其中718是第二代SVAC/H.264核心晶片，736是一款大眾級DVR核心晶片。晶片支援支援自動曝光、自動白平衡、自動增益等影像處理功能;視頻編碼支援SVAC和H.264標準，為安防監控系統實現更加可靠和靈活的應用。截止到2017年，中星微電以及在美國納斯達克上市，並從晶片設計業務擴展到視頻監控整機設備廠家，逐步在國際市場發揮重大作用。
真正對國外競爭對手起到威懾作用的是華為海思。海思依託中國這10年安防市場的蓬勃發展，聯手海康大華對國外半導體巨頭進行狙擊。
在進行H.264產品晶片的佈局前提下，華為海思在視頻編解碼市場戰穩了陣腳。同時，華為還力推H.265，是H.265的主要技術標準貢獻者。隨著安防監控不斷的向高解析度、高壓縮率、低寬頻佔用方向發展，相對於H.264編碼，H.265視頻編碼壓縮技術在保證相同畫質的情況下，對頻寬的需求減少了50%左右，存儲空間也相應減少一半，解決了高清化、網路化趨勢下視頻在頻寬、存儲和畫質方面的難題。基於H.265技術的視頻應用正逐步普及。下圖為H.265與H.264碼率對比表。H.265不僅可以降低1080p等當下主流高清格式的碼率(1080p僅需1~2Mbps碼率)，同時也適用於4K和8K等超高清視頻，H.265標準讓網路視頻跟上了顯示幕“高解析度化”的腳步。
圖三 H.265與H.264碼率對比表
華為海思的視頻編解碼晶片系統非常全面，從65nm的3518A到目前最新的28nm的3519，晶片產品囊括了消費市場、商業市場和行業市場；解析度從D1到最新的4k，幀率高達60fps。這些全面的佈局和高可靠性，深得視頻應用廠家的愛好，把TI的DM8168甩出了好幾條街。目前，華為海思與美國安霸、日本的索喜在該領域形成了三國鼎立局面，TI從DM8168後無新編解碼晶片推出。
據粗略資料統計，見下圖四，中國市場國產晶片（主要是華為海思）的提升到60%左右，是十年前的60倍，而國外晶片占比降低到35%左右，海思佔領了國內一半以上市場。索喜雖然是一家剛剛成立公司，單其背景是索尼和富士通，2016年開始進入中國市場，在8k方面已經確立其技術領先地位。
圖四 2006年編解碼晶片國內出貨占比
隨著國產晶片廠家參與到視頻編解碼晶片設計大軍中，推動了行業晶片價格降低。筆者按照歷史採購資料，同時以單通道編解碼價格來折算，按照1為某個單位價格折算（具體價格資料各個廠家均不便直接給出），繪製出各個晶片廠家的價格對比和趨勢圖，見圖五。從圖中我們可以看到，晶片價格一直在降低，同時，國內廠家海思因為其成本控制原因，價格有很大優勢，從而倒逼國家巨頭不得不下調出貨價。受益以晶片廠家的價格競爭，晶片編解碼應用廠家如海康、大華等迅速發展。作為安防業的雙寡頭，大華股份與海康威視憑藉行業的東風，兩家公司的成長速度異常強勁，在國際市場上已經和應用廠家進行廝殺。 2015年兩家公司雙雙晉升“全球安放50強”，海康排名第二，大華排名第五。從年營收數據來看，海康從2006年不到8個億的營業收入，到2016年，主營輸入達到了320億元，大華股份的營業額便是在10年間增長了近百倍，2016年，主營收入達到了133億元。
圖五 2006年至2016年編解碼晶片價格趨勢
圖像去隔行單晶片，輝煌時代一去不返
電視發展的早期階段，一般都採用“隔行掃描”技術，目的是減少傳輸圖像的資料量。該技術將一幀圖像分為前後兩場，奇數行一場為奇場，偶數行一場為偶場。先發送奇場的資料，緊接著發送的是偶數行的資料，發送視頻資料量將減少一半。隔行掃描時，一幀圖像分為前後兩場，場間間隔時間為喊間間隔時間的一半。即，掃描光柵在奇場從左到右，從上往下隔一行掃描一行，直到最後一行，在偶場按同樣的掃描方式進行。為了圖像效果更加好，在顯示端，一般都會使用去隔行晶片，對視頻圖像進行處理。去隔行的方法有多種，包含了場間插值、場內插值、運動補償等方法。
單晶片去隔行晶片的過去主要半導體廠家有美國的TI、日本的i-Chips和韓國的Macro Image，國產的去隔行單晶片基本沒有廠家介入。從全球範圍來看，消費量終端的顯示器是非常多的，在VIDOE時代，去隔行晶片的使用量非常巨大。隨著1080p解析度普及，TVBS信號的應用逐步減少，取而代之的是3G SDI，同時DP、DVI信號協定裡邊不在包含i制信號，在專業視頻應用領域，單去隔行晶片的需求正在減少。
目前在專業的視頻處理領域，視頻處理廠家如美國的巴可、中國的威創視訊、淳中等，為了追求最佳的視頻顯示品質和舊產品的維護，還有一定的單晶片去隔行需求，但是其他小小廠家基本就直接放棄隔行視頻的處理。單晶片的去隔行已經逐步轉化為晶片視頻處理的一個模組。據統計機構WitsView最新調研資料顯示，2016年全球液晶電視總出貨量為2.19億台，按照80%計算，需要帶去隔行功能的晶片年需求量大概在1.76億片。但是，在筆者看來，隨著高清視頻普及和傳輸到戶頻寬的升級提高，去隔行功能模組也將逐步推出歷史舞臺。
視頻格式轉換晶片，國際半導體廠家的舞臺
視頻格式轉換技術是當今資訊領域的研究熱點之一，以美國和臺灣公司為主相繼推出多種晶片，如GenesisMicroelectronics、Gennum Corporation、Trident、Trumpion(Taiwen)、Etron Technology、MacronixInternational、Philips Semiconductor、Sunplus Technology、i-chips等，國內在該方面目前尚處於起步階段。
格式轉換技術其應用場合要求它具有高即時性、低代價實現，因此格式轉換研究從一開始就非常注重演算法的ASIC化，在初期VLSI集成度比較小時，主要研究單幀線性內插，以後隨著矽片集成度的提高，逐漸採用幀間的多幀演算法的自我調整演算法，到90年代後期，運動估計技術可以單片集成時，運動估計的格式轉換才蓬勃發展。今天，矽片的集成度還在不斷提高，隨著片上系統(SystemOnChip)成為可能，格式轉換將會發展出更加複雜、高效的技術；可能的方向是運用更多幀的資訊，進行更精確、複雜的運動補償。
隨著4k、8K液晶電視的推出，視頻格式轉換特別是縮放技術顯得尤為重要。目前很多4k電視，因為在視頻傳輸這塊還跟不上，大部分是採用視頻放大功能的。尚未成熟的8k更是如此。這裡不得不提日本的視頻縮放公司i-chips，拋開愛國情懷不說，在視頻行業搞技術的從業者都對i-chips的產品肅然起敬。在縮放這塊，i-chips可以說是數10年如一日做這一產品，並且用工匠精神把它做到極致，如i-chips732等。還有日本的夏普，最新研發X8-MEP影像處理引擎，無論是4K影像內容還是電視信號或BD影像，引擎都會根據影像素材內容對細節部分進行修正處理，以8K清晰度的高精細影像再現超越現。
視頻格式轉換晶片是顯示器系統中不可或缺的關鍵部件，我國是電視、各類顯示器的生產大國，但是，此類產品中的關鍵晶片目前大部份被美國或日本的晶片廠商所控制。國產的視頻晶片僅有華為海思、珠海全志幾家，尚未形成氣候。
視頻處理未來趨勢
更低的功耗，最理想的情況是高清終端本身的功耗降低到通過自然散熱即可穩定工作的程度，隨著晶片工藝的不斷成熟，為低功耗提供了可能性。綠色地球，是大勢所趨。
更高的壓縮能力，隨著網路市場對高清說頻產品的解析度的要求不斷提高，一般的720P解析度已經有點提襟見肘，500萬、800萬甚至1200萬的圖元需求在不斷湧現，對不同格式碼流的需求也成為標準配置。這些對高清視頻晶片的壓縮能力提出了更大的挑戰。
智慧分析整合，人臉識別，大資料分析等智慧視頻技術蓬勃發展，越來越多的在實際應用中得到普及推廣，隨著高清4k時代的到來，信息量成倍增加的前提下，智慧視頻演算法集成進去視頻晶片裡邊已經是勢不可擋。
視頻可從配置技術，FPGA巨頭賽靈思reVISION 支援以最快速度打造回應最快的視覺系統，相比最具競爭力的計算嵌入式 GPU 和典型 SoC，將機器學習推斷的單位功耗圖像捕獲速度提升了 6 倍，將電腦視覺處理的單位功耗幀速度提升了 42 倍，時延降低為 1/5。可以預見，未來的視頻晶片集成reVision技術是必配。
縱觀國產視頻晶片的10年，海思半導體借助H.264/265的編解碼，協同海康、大華、威創等國內視頻應用廠家，已經在IP編解碼市場起到了引領作用。但是，在其他視頻處理晶片市場，國內的半導體廠家還需要抓住視頻處理的趨勢，迎頭趕上。筆者預計，未來的視頻晶片具備上述4點趨勢，如果國內半導體廠家能牢牢抓住，必將成為“站在風口上的豬”。
作者簡介
微電子專業畢業，碩士研究生，熟悉瞭解半導體行業，曾經在實驗室做過IC前端設計，從事電子產品設計9年，目前在一家上市公司擔任產品設計經理。
今天是《半導體行業觀察》為您分享的第1266期內容，歡迎關注。
R
eading
並在網路攝像機專用晶片、解碼終端以及在視頻監控平臺方面持續投入，取得了耀眼的成果。2014年，中星發佈新產品718和736晶片：其中718是第二代SVAC/H.264核心晶片，736是一款大眾級DVR核心晶片。晶片支援支援自動曝光、自動白平衡、自動增益等影像處理功能;視頻編碼支援SVAC和H.264標準，為安防監控系統實現更加可靠和靈活的應用。截止到2017年，中星微電以及在美國納斯達克上市，並從晶片設計業務擴展到視頻監控整機設備廠家，逐步在國際市場發揮重大作用。真正對國外競爭對手起到威懾作用的是華為海思。海思依託中國這10年安防市場的蓬勃發展，聯手海康大華對國外半導體巨頭進行狙擊。
在進行H.264產品晶片的佈局前提下，華為海思在視頻編解碼市場戰穩了陣腳。同時，華為還力推H.265，是H.265的主要技術標準貢獻者。隨著安防監控不斷的向高解析度、高壓縮率、低寬頻佔用方向發展，相對於H.264編碼，H.265視頻編碼壓縮技術在保證相同畫質的情況下，對頻寬的需求減少了50%左右，存儲空間也相應減少一半，解決了高清化、網路化趨勢下視頻在頻寬、存儲和畫質方面的難題。基於H.265技術的視頻應用正逐步普及。下圖為H.265與H.264碼率對比表。H.265不僅可以降低1080p等當下主流高清格式的碼率(1080p僅需1~2Mbps碼率)，同時也適用於4K和8K等超高清視頻，H.265標準讓網路視頻跟上了顯示幕“高解析度化”的腳步。
圖三 H.265與H.264碼率對比表
華為海思的視頻編解碼晶片系統非常全面，從65nm的3518A到目前最新的28nm的3519，晶片產品囊括了消費市場、商業市場和行業市場；解析度從D1到最新的4k，幀率高達60fps。這些全面的佈局和高可靠性，深得視頻應用廠家的愛好，把TI的DM8168甩出了好幾條街。目前，華為海思與美國安霸、日本的索喜在該領域形成了三國鼎立局面，TI從DM8168後無新編解碼晶片推出。
據粗略資料統計，見下圖四，中國市場國產晶片（主要是華為海思）的提升到60%左右，是十年前的60倍，而國外晶片占比降低到35%左右，海思佔領了國內一半以上市場。索喜雖然是一家剛剛成立公司，單其背景是索尼和富士通，2016年開始進入中國市場，在8k方面已經確立其技術領先地位。
圖四 2006年編解碼晶片國內出貨占比
隨著國產晶片廠家參與到視頻編解碼晶片設計大軍中，推動了行業晶片價格降低。筆者按照歷史採購資料，同時以單通道編解碼價格來折算，按照1為某個單位價格折算（具體價格資料各個廠家均不便直接給出），繪製出各個晶片廠家的價格對比和趨勢圖，見圖五。從圖中我們可以看到，晶片價格一直在降低，同時，國內廠家海思因為其成本控制原因，價格有很大優勢，從而倒逼國家巨頭不得不下調出貨價。受益以晶片廠家的價格競爭，晶片編解碼應用廠家如海康、大華等迅速發展。作為安防業的雙寡頭，大華股份與海康威視憑藉行業的東風，兩家公司的成長速度異常強勁，在國際市場上已經和應用廠家進行廝殺。 2015年兩家公司雙雙晉升“全球安放50強”，海康排名第二，大華排名第五。從年營收數據來看，海康從2006年不到8個億的營業收入，到2016年，主營輸入達到了320億元，大華股份的營業額便是在10年間增長了近百倍，2016年，主營收入達到了133億元。
圖五 2006年至2016年編解碼晶片價格趨勢
圖像去隔行單晶片，輝煌時代一去不返
電視發展的早期階段，一般都採用“隔行掃描”技術，目的是減少傳輸圖像的資料量。該技術將一幀圖像分為前後兩場，奇數行一場為奇場，偶數行一場為偶場。先發送奇場的資料，緊接著發送的是偶數行的資料，發送視頻資料量將減少一半。隔行掃描時，一幀圖像分為前後兩場，場間間隔時間為喊間間隔時間的一半。即，掃描光柵在奇場從左到右，從上往下隔一行掃描一行，直到最後一行，在偶場按同樣的掃描方式進行。為了圖像效果更加好，在顯示端，一般都會使用去隔行晶片，對視頻圖像進行處理。去隔行的方法有多種，包含了場間插值、場內插值、運動補償等方法。
單晶片去隔行晶片的過去主要半導體廠家有美國的TI、日本的i-Chips和韓國的Macro Image，國產的去隔行單晶片基本沒有廠家介入。從全球範圍來看，消費量終端的顯示器是非常多的，在VIDOE時代，去隔行晶片的使用量非常巨大。隨著1080p解析度普及，TVBS信號的應用逐步減少，取而代之的是3G SDI，同時DP、DVI信號協定裡邊不在包含i制信號，在專業視頻應用領域，單去隔行晶片的需求正在減少。
目前在專業的視頻處理領域，視頻處理廠家如美國的巴可、中國的威創視訊、淳中等，為了追求最佳的視頻顯示品質和舊產品的維護，還有一定的單晶片去隔行需求，但是其他小小廠家基本就直接放棄隔行視頻的處理。單晶片的去隔行已經逐步轉化為晶片視頻處理的一個模組。據統計機構WitsView最新調研資料顯示，2016年全球液晶電視總出貨量為2.19億台，按照80%計算，需要帶去隔行功能的晶片年需求量大概在1.76億片。但是，在筆者看來，隨著高清視頻普及和傳輸到戶頻寬的升級提高，去隔行功能模組也將逐步推出歷史舞臺。
視頻格式轉換晶片，國際半導體廠家的舞臺
視頻格式轉換技術是當今資訊領域的研究熱點之一，以美國和臺灣公司為主相繼推出多種晶片，如GenesisMicroelectronics、Gennum Corporation、Trident、Trumpion(Taiwen)、Etron Technology、MacronixInternational、Philips Semiconductor、Sunplus Technology、i-chips等，國內在該方面目前尚處於起步階段。
格式轉換技術其應用場合要求它具有高即時性、低代價實現，因此格式轉換研究從一開始就非常注重演算法的ASIC化，在初期VLSI集成度比較小時，主要研究單幀線性內插，以後隨著矽片集成度的提高，逐漸採用幀間的多幀演算法的自我調整演算法，到90年代後期，運動估計技術可以單片集成時，運動估計的格式轉換才蓬勃發展。今天，矽片的集成度還在不斷提高，隨著片上系統(SystemOnChip)成為可能，格式轉換將會發展出更加複雜、高效的技術；可能的方向是運用更多幀的資訊，進行更精確、複雜的運動補償。
隨著4k、8K液晶電視的推出，視頻格式轉換特別是縮放技術顯得尤為重要。目前很多4k電視，因為在視頻傳輸這塊還跟不上，大部分是採用視頻放大功能的。尚未成熟的8k更是如此。這裡不得不提日本的視頻縮放公司i-chips，拋開愛國情懷不說，在視頻行業搞技術的從業者都對i-chips的產品肅然起敬。在縮放這塊，i-chips可以說是數10年如一日做這一產品，並且用工匠精神把它做到極致，如i-chips732等。還有日本的夏普，最新研發X8-MEP影像處理引擎，無論是4K影像內容還是電視信號或BD影像，引擎都會根據影像素材內容對細節部分進行修正處理，以8K清晰度的高精細影像再現超越現。
視頻格式轉換晶片是顯示器系統中不可或缺的關鍵部件，我國是電視、各類顯示器的生產大國，但是，此類產品中的關鍵晶片目前大部份被美國或日本的晶片廠商所控制。國產的視頻晶片僅有華為海思、珠海全志幾家，尚未形成氣候。
視頻處理未來趨勢
更低的功耗，最理想的情況是高清終端本身的功耗降低到通過自然散熱即可穩定工作的程度，隨著晶片工藝的不斷成熟，為低功耗提供了可能性。綠色地球，是大勢所趨。
更高的壓縮能力，隨著網路市場對高清說頻產品的解析度的要求不斷提高，一般的720P解析度已經有點提襟見肘，500萬、800萬甚至1200萬的圖元需求在不斷湧現，對不同格式碼流的需求也成為標準配置。這些對高清視頻晶片的壓縮能力提出了更大的挑戰。
智慧分析整合，人臉識別，大資料分析等智慧視頻技術蓬勃發展，越來越多的在實際應用中得到普及推廣，隨著高清4k時代的到來，信息量成倍增加的前提下，智慧視頻演算法集成進去視頻晶片裡邊已經是勢不可擋。
視頻可從配置技術，FPGA巨頭賽靈思reVISION 支援以最快速度打造回應最快的視覺系統，相比最具競爭力的計算嵌入式 GPU 和典型 SoC，將機器學習推斷的單位功耗圖像捕獲速度提升了 6 倍，將電腦視覺處理的單位功耗幀速度提升了 42 倍，時延降低為 1/5。可以預見，未來的視頻晶片集成reVision技術是必配。
縱觀國產視頻晶片的10年，海思半導體借助H.264/265的編解碼，協同海康、大華、威創等國內視頻應用廠家，已經在IP編解碼市場起到了引領作用。但是，在其他視頻處理晶片市場，國內的半導體廠家還需要抓住視頻處理的趨勢，迎頭趕上。筆者預計，未來的視頻晶片具備上述4點趨勢，如果國內半導體廠家能牢牢抓住，必將成為“站在風口上的豬”。
作者簡介
微電子專業畢業，碩士研究生，熟悉瞭解半導體行業，曾經在實驗室做過IC前端設計，從事電子產品設計9年，目前在一家上市公司擔任產品設計經理。
今天是《半導體行業觀察》為您分享的第1266期內容，歡迎關注。
R
eading