隨著資訊化技術的深入和互聯網的迅速發展， 整個世界正在迅速地融為一體， 電腦網路已經成為國家的經濟基礎和命脈。 眾多的企業、組織與政府部門都在組建和發展自己的網路， 並連接到Internet上， 以充分共用、利用網路的資訊和資源。 電腦網路在經濟和生活的各個領域正在迅速普及， 其地位越來越重要， 整個社會對網路的依賴程度越來越大。
同時隨著使用者網路複雜度的增加， 各個業務系統之間互相關聯， 業務架構趨於複雜化， 如何能夠快速的進行故障的快速定位與排查， 也逐漸網路維護過程中所要面臨的一個重要問題。
而上文提到的各種各樣的問題和威脅， 也催生了各種傳統資訊安全管控(攻擊防護/入侵偵測與防禦/傳統IT訪問行為審計)、業務資訊安全管控(業務操作風險稽核/風險預警)以及NPM與APM性能管理系統等的建設， 這些產品通常基於旁路部署的方式進行網路上的流量採集和分析， 隨著用戶等保項目的建設， 部署了越來越多的這種網路旁路監控設備， 也出現了各種各樣的問題， 譬如鏡像埠不夠用， 管理相對分散、無法精確識別管道資料、資源利用率過低、監控投資過大、監控分析效率低下等等。
而成都數維通信技術有限公司， 主要就是為解決使用者安全以及性能監控專案建設過中遇到的各種各樣的問題，
一、 NetTAP統一流量採集分發平臺的價值：
1、 統一流量採集分發
通過建立統一的流量採集分發平臺， 可以對使用者需要採集的資料進行統一的調度， 並且可以做到多個埠的彙聚複製輸出或者負載均衡輸出，
2、 精確的識別管道資料
通過建立統一的流量採集分發平臺， 可以通過IP位址、MAC位址、埠號、vlan號、協定號、框架類型等等方式對採集到的資料進行分發前的過濾， 比如不同分析系統他可能需要資料的維度不同， 那麼我們就可以精確的去識別這樣的資料， 然後將這些資料提取出來轉發給後端設備， 而大大降低後臺分析設備的壓力。
3、 大幅度降低投資成本， 提高資源利用率
通過建立統一的流量採集分發平臺， 可以通過串接採集和交換機埠鏡像採集的方式對全網資料進行採集， 有效消除了監控盲點， 減少很多不必要的投資、降低了使用者採集資料的難度，
4、 簡化網路的複雜度。
通過建立統一的流量採集分發平臺， 有效避免了使用者無法根據網路發展統一規劃部署監控設備， 而造成隨著監控設備部署的增多， 網路拓撲變得雜亂無章的問題， 統一平臺建立後， 用戶如果由於等保項目或者其他安全需求而要部署其他監控設備的時候， 只需要將這些監控設備接入我們流量採集分發平臺， 再由流量採集分發平臺對資料進行一個統一的分發就可以了。
5、 精確的故障定位。
通過建立統一的流量採集分發平臺， 可以通過對各個節點採集到的資料打時間戳記的方式， 協助後端分析設備快速的進行網路故障節點的定位，
二、 NetTAP統一採集常用的一些採集技術：
1、SPAN鏡像採集(TAP設備)
SPAN鏡像採集是最常見的一種採集技術， 也就是通過在交換機上做埠鏡像的方式， 將採集流量輸入給後端設備， 但是當使用者需要在同一個節點部署多台監控設備的時候， 很多交換機往往由於性能的限制， 無法提供足夠的鏡像埠， 而我們的設備可以通過對接入的SPAN鏡像資料複製成多份輸出， 有效解除了同一個採集點部署多台監控設備的難點。
2、線上電口採集(TAP設備)
線上電口採集， 主要應用於雙絞線鏈路的資料獲取， 比如交換機不支援鏡像埠或者鏡像埠已經被佔用， 或者伺服器和防火牆之間、路由器和路由器之間，可以通過將我們的NetTAP設備串接在鏈路中間，對流經NetTAP設備的流量進行一個透明的採集，並且由於我們設備支援bypass切換功能，一旦串接NetTAP設備出現故障，可在70MS以內完成快速的bypass切換，對業務鏈路的收斂不會照成任何影響。
3、線上分光採集(光TAP設備)
線上分光採集，主要應用於光釺鏈路的資料獲取，比如交換機不支援鏡像埠或者鏡像埠已經被佔用，或者伺服器和防火牆之間、路由器和路由器之間，可以通過將我們的分光器設備串接在鏈路中間，通過分光器分光的方式將資料獲取，並且我們可以根據使用者的要求進行一個分光比和單模多模的定制，同時分光器屬於無源設備，不用擔心設備掉電故障的發生。
4、流量複製彙聚輸出和負載均衡輸出
NetTAP設備採集到流量後，可以對採集到的資料進行簡單的複製轉發，也就是一個節點採集到的資料複製到多個埠做輸出，也可以進行彙聚輸出，也就是多個節點採集到的資料彙聚到一個埠，同時由於某些時候彙聚過後的流量過大，我們也可以通過負載均衡的方式將流量負載到多個埠進行輸出，並且我們負載均衡輸出的方式是通過hash負載的方式實現的，在負載輸出的同時也有效的保證了會話的完整性。
6、多元組過濾
由於不同的監控設備所需要監控的資料的維度不同，就比如資料庫審計系統可能只需要資料庫的流量，如果只是單純的將全量資料轉發給它，那麼無疑是增加了一些無用的分析，影響了設備的性能，而我們NetTAP設備可以根據使用者的需求，依據資料包文特徵欄位、ip位址、mac位址、埠號、協定號、vlan號、tcp標誌位元等等多種過濾方式，對資料進行一個預處理，有效減輕後臺分析設備的壓力。
7、MAC位址替換
NetTAP設備可以對採集到的原始資料包文，替換指定的源/目的mac位址，達到對輸入的資料進行標記的功能，並且標記過後，可以根據後端設備的一些需求，來做相應的分發。
8、vlan標記和去標記
NetTAP設備對採集的原始資料包文，可以標記指定的vlan標籤後進行輸出，也可以對採集的原始資料包文，剝離vlan tag後再進行輸出，以方便後端監控設備進行相應的資料分析。
9、時間戳記功能
NetTAP對採集的原始資料包文的MAC位址，標記納秒級的時間戳記後進行輸出。時間戳記的功能，主要應用於NetTAP設備對於使用者業務鏈路進行多點採集的環境，一旦發現某些時刻使用者的的網路體驗變慢的了，可以對各個節點採集到的資料打上時間戳記，協助後端分析設備判斷具體是哪些節點之間的轉發延遲較大，從而達到快速的故障定位的目的。
10、資料切片
資料切片主要是指可以對採集到的資料包文，截短成指定的報文長度後進行輸出。
資料包切片主要應用於某些安全部門，比如國安、網安需要對採集到的原始資料包文存儲半年或者三個月，但是有些時候，可能使用者只關心網路層面的資料或者多少個位元組以前的資料，如果全量存儲的話，對使用者而言，存儲壓力是非常大的，同時還造成了一個資源的浪費，這種情況就可以通過NetTAP設備的資料包切片功能將報文中使用者不關心的資料部分直接切掉、丟棄，只留下使用者需要的部分，大幅度減輕了使用者的存儲壓力。
11、資料脫敏
資料脫敏是指對採集的原始資料包文任意位置，替換指定的字元後輸出。資料脫敏主要在金融行業應用的比較多，主要針對某些敏感資訊，可能使用者並不希望後端的安全監控設備得到這些敏感資訊，那麼可通過在設備上面進行相應的配置，將敏感位元組遮罩掉或者替換成其它字元。
12、流量去重複
流量去重是指對採集的原始資料包文，可以先進行去除重復資料報文後再進行輸出。流量去重複主要應用於某些環境，用戶對多個節點進行資料獲取，往往會採集到很多重復資料，而大量的重復資料報文常常會造成很多後臺監控設備比如NPM的TCP重傳誤報。
13、DPI應用層協定識別
DPI應用層協定識別主要指可以對採集到的資料包文、匹配指定的應用層協議後進行輸出。現階段NetTAP設備主要集成了常見的視頻流識別、P2P 資料識別、資料庫識別、聊天工具識別、HTTP 協定識別、流標識、流重組等 DPI 功能
三、 NetTAP流量採集應用方案：
(1)基礎應用(複製、彙聚、過濾等)
NetTAP設備典型應用之一：
通過分光輸入和span鏡像的方式進行資料獲取口，隨後NetTAP設備將輸入流量進行彙聚按預配置規則處理之後，可採用複製/彙聚/分流/過濾等方式輸出至後臺流量分析系統。
(2)高級流量預處理應用(時間戳記、去重、切片、脫敏等)
NetTAP流量採集平臺的高級預處理應用
通過將部署我們的流量採集平臺，可以通過鏡像輸入、分光輸入、線上採集的方式首先將業務鏈路上各個重要採集節點的的資料獲取到我們的NetTAP流量採集平臺，再根據後臺分析系統的要求，對輸入流量進行彙聚按相應DPI規則處理之後，可採用過濾等方式輸出至後臺安全審計類系統。
NetTAP深度 DPI設備，支援逐流過濾、會話跟蹤、去重、切片、脫敏、視頻流識別、P2P 資料識別、資料庫識別、聊天工具識別、HTTP 協定識別、流標識、流重組等功能。
(3)100GE高速率資料獲取分發應用
100GE 系列高密度網路NetTAP分流器主要應用於 100GE 鏈路集中的運營商移動互聯網出口、省網、骨幹網和大型IDC 出口進行流量採集， 如上圖所示，NetTAP設備對採集到的N路100GE 鏈路的流量首先執行流量彙聚及基於特定規則的報文/流過濾流量標識，並根
據不同的後臺應用需求，通過多個 10GE 介面分配相應流量輸出至各後臺系統進行分析。同時，分流器支援對多台分析設備組成的監控分析雲系統的各個節點進行動態監控健康檢查，基於健康檢查的結果對其進行智慧分配流量，在分析節點狀態正常時，為其正常分配一定比例的流量，節點狀態異常時，減輕或停止為其分配分析流量。通過分流器與後臺分析雲節點之間的互動共同構建一套高可靠性的監控分析雲系統。
四、 總論
成都數維通信技術有限公司的NetTAP統一流量採集分發平臺可有效的避免網路中監控設備分散部署所帶來的各種各樣的問題，為簡化網路複雜度，減輕後端引擎壓力，節約使用者投資成本、是一種高可靠性的視覺化彙聚分流方.
或者伺服器和防火牆之間、路由器和路由器之間，可以通過將我們的NetTAP設備串接在鏈路中間，對流經NetTAP設備的流量進行一個透明的採集，並且由於我們設備支援bypass切換功能，一旦串接NetTAP設備出現故障，可在70MS以內完成快速的bypass切換，對業務鏈路的收斂不會照成任何影響。3、線上分光採集(光TAP設備)
線上分光採集，主要應用於光釺鏈路的資料獲取，比如交換機不支援鏡像埠或者鏡像埠已經被佔用，或者伺服器和防火牆之間、路由器和路由器之間，可以通過將我們的分光器設備串接在鏈路中間，通過分光器分光的方式將資料獲取，並且我們可以根據使用者的要求進行一個分光比和單模多模的定制，同時分光器屬於無源設備，不用擔心設備掉電故障的發生。
4、流量複製彙聚輸出和負載均衡輸出
NetTAP設備採集到流量後，可以對採集到的資料進行簡單的複製轉發，也就是一個節點採集到的資料複製到多個埠做輸出，也可以進行彙聚輸出，也就是多個節點採集到的資料彙聚到一個埠，同時由於某些時候彙聚過後的流量過大，我們也可以通過負載均衡的方式將流量負載到多個埠進行輸出，並且我們負載均衡輸出的方式是通過hash負載的方式實現的，在負載輸出的同時也有效的保證了會話的完整性。
6、多元組過濾
由於不同的監控設備所需要監控的資料的維度不同，就比如資料庫審計系統可能只需要資料庫的流量，如果只是單純的將全量資料轉發給它，那麼無疑是增加了一些無用的分析，影響了設備的性能，而我們NetTAP設備可以根據使用者的需求，依據資料包文特徵欄位、ip位址、mac位址、埠號、協定號、vlan號、tcp標誌位元等等多種過濾方式，對資料進行一個預處理，有效減輕後臺分析設備的壓力。
7、MAC位址替換
NetTAP設備可以對採集到的原始資料包文，替換指定的源/目的mac位址，達到對輸入的資料進行標記的功能，並且標記過後，可以根據後端設備的一些需求，來做相應的分發。
8、vlan標記和去標記
NetTAP設備對採集的原始資料包文，可以標記指定的vlan標籤後進行輸出，也可以對採集的原始資料包文，剝離vlan tag後再進行輸出，以方便後端監控設備進行相應的資料分析。
9、時間戳記功能
NetTAP對採集的原始資料包文的MAC位址，標記納秒級的時間戳記後進行輸出。時間戳記的功能，主要應用於NetTAP設備對於使用者業務鏈路進行多點採集的環境，一旦發現某些時刻使用者的的網路體驗變慢的了，可以對各個節點採集到的資料打上時間戳記，協助後端分析設備判斷具體是哪些節點之間的轉發延遲較大，從而達到快速的故障定位的目的。
10、資料切片
資料切片主要是指可以對採集到的資料包文，截短成指定的報文長度後進行輸出。
資料包切片主要應用於某些安全部門，比如國安、網安需要對採集到的原始資料包文存儲半年或者三個月，但是有些時候，可能使用者只關心網路層面的資料或者多少個位元組以前的資料，如果全量存儲的話，對使用者而言，存儲壓力是非常大的，同時還造成了一個資源的浪費，這種情況就可以通過NetTAP設備的資料包切片功能將報文中使用者不關心的資料部分直接切掉、丟棄，只留下使用者需要的部分，大幅度減輕了使用者的存儲壓力。
11、資料脫敏
資料脫敏是指對採集的原始資料包文任意位置，替換指定的字元後輸出。資料脫敏主要在金融行業應用的比較多，主要針對某些敏感資訊，可能使用者並不希望後端的安全監控設備得到這些敏感資訊，那麼可通過在設備上面進行相應的配置，將敏感位元組遮罩掉或者替換成其它字元。
12、流量去重複
流量去重是指對採集的原始資料包文，可以先進行去除重復資料報文後再進行輸出。流量去重複主要應用於某些環境，用戶對多個節點進行資料獲取，往往會採集到很多重復資料，而大量的重復資料報文常常會造成很多後臺監控設備比如NPM的TCP重傳誤報。
13、DPI應用層協定識別
DPI應用層協定識別主要指可以對採集到的資料包文、匹配指定的應用層協議後進行輸出。現階段NetTAP設備主要集成了常見的視頻流識別、P2P 資料識別、資料庫識別、聊天工具識別、HTTP 協定識別、流標識、流重組等 DPI 功能
三、 NetTAP流量採集應用方案：
(1)基礎應用(複製、彙聚、過濾等)
NetTAP設備典型應用之一：
通過分光輸入和span鏡像的方式進行資料獲取口，隨後NetTAP設備將輸入流量進行彙聚按預配置規則處理之後，可採用複製/彙聚/分流/過濾等方式輸出至後臺流量分析系統。
(2)高級流量預處理應用(時間戳記、去重、切片、脫敏等)
NetTAP流量採集平臺的高級預處理應用
通過將部署我們的流量採集平臺，可以通過鏡像輸入、分光輸入、線上採集的方式首先將業務鏈路上各個重要採集節點的的資料獲取到我們的NetTAP流量採集平臺，再根據後臺分析系統的要求，對輸入流量進行彙聚按相應DPI規則處理之後，可採用過濾等方式輸出至後臺安全審計類系統。
NetTAP深度 DPI設備，支援逐流過濾、會話跟蹤、去重、切片、脫敏、視頻流識別、P2P 資料識別、資料庫識別、聊天工具識別、HTTP 協定識別、流標識、流重組等功能。
(3)100GE高速率資料獲取分發應用
100GE 系列高密度網路NetTAP分流器主要應用於 100GE 鏈路集中的運營商移動互聯網出口、省網、骨幹網和大型IDC 出口進行流量採集， 如上圖所示，NetTAP設備對採集到的N路100GE 鏈路的流量首先執行流量彙聚及基於特定規則的報文/流過濾流量標識，並根
據不同的後臺應用需求，通過多個 10GE 介面分配相應流量輸出至各後臺系統進行分析。同時，分流器支援對多台分析設備組成的監控分析雲系統的各個節點進行動態監控健康檢查，基於健康檢查的結果對其進行智慧分配流量，在分析節點狀態正常時，為其正常分配一定比例的流量，節點狀態異常時，減輕或停止為其分配分析流量。通過分流器與後臺分析雲節點之間的互動共同構建一套高可靠性的監控分析雲系統。
四、 總論
成都數維通信技術有限公司的NetTAP統一流量採集分發平臺可有效的避免網路中監控設備分散部署所帶來的各種各樣的問題，為簡化網路複雜度，減輕後端引擎壓力，節約使用者投資成本、是一種高可靠性的視覺化彙聚分流方.