您的位置:首頁>科技>正文

海量資料下的存儲技術,哪些模式靠得住?

高清、長週期呈現海量存儲需求

高清已經在安防行業全面鋪開應用。 除了帶給用戶能夠看得更清的良好視覺感受外, 對存儲容量的需求亦成幾何式增長。 例如: 前端IPC有130W到500W圖元, 碼流也從有2Mbps到8Mbps, 而一個130W圖元, 8Mbps碼流的前端, 錄影一個月就需要2531.3GB, 資料量不可小覷。

存儲週期方面, 現在也有了政府的有力推動。 如《中華人民共和國反恐怖主義法》規定採集的視頻圖像資料保存週期不得少於90天;最高人民法院與國家檔案局聯合發佈的《關於人民法院訴訟檔案保管期限的規定》更是規定:將法院訴訟檔案的保管期限分為永久、長期、短期三種, 根據人民法院訴訟檔案的特點, 凡屬本院審判活動形成的需要長遠利用的訴訟檔案, 劃為永久保管。 凡屬在相當長的時期內需要查考使用的訴訟檔案, 劃為長期保管, 保管時間為60年。 凡屬在相對較短的時期內需要查考利用的訴訟檔案,

劃為短期保管, 保管時間為30年, 可以想像, 資料量非常之大。

對當前整個安防市場來講, 特別是大公安、大交通、樓宇、司法監所、金融、文教衛、能源專案等行業迅猛發展, 甲方客戶的需求及大集成商的存儲解決方案越來越傾向集中化。 需要保存的資料也成線性增長.應對如此巨大的資料量, 資料存儲及客戶資料快速有效查詢就變得至關重要。 某公司一直緊跟行業發展方向, 致力於推出更符合用戶需求與行業需求的監控/資料中心解決方案。

現有的安防存儲模式

1.DVR/NVR前端本機存放區

此種模式, 一般應用於實施較早專案, 使用的是DVR/NVR前端本機存放區, 隨著大資料時代的來臨, 採用了比較直接的方法,

在DVR/NVR直接連接擴展櫃來實現容量的擴容。 原來系統及原資料保持不變。 此種模式由於採用DVR/NVR存儲容量相對較小, 況且DVR/NVR性能較低, 資訊孤島現象嚴重, 無法滿足大資料需求。

2.集中存儲模式

客戶資料採用磁碟陣列模式。 可以採用在存儲節點後直接增加擴展櫃的模式, 隨著集群的推出也可以通過增加存儲節點來實現容量增加。 相對於DVR/NVR模式, 容量大大提升, 並實現了資料的集中存儲, 同時支援存儲節點間的故障的自動業務接管, 最大程度上實現了業務資料的完整性。 但是隨著大資料的來臨, 後續專案擴容時, 需要人為配置設備的負載均衡。 一台存儲故障後導致設備存儲的資料部分中斷或者接管設備壓力較大, 另外考慮到網路延時,

可能導致存儲資料不完整, 資料獲取需要人為指定設備資料獲取, 管理成本較高等。 為了設備的負載均衡, 空間的虛擬化設備易維護的問題, 雲存儲技術應運而生。

3.雲存儲模式

隨著雲存儲技術普及.目前市面大體分為通用雲存儲(檔雲\集群NAS )和視頻雲存儲。

通用雲存儲

通過軟體運用集群技術、虛擬化技術、分散式存儲技術將網路中大量各種不同類型的存放裝置集合起來協同工作, 共同對外提供資料存儲和業務訪問功能。

通用雲存儲較傳統集中基本設備形態不變, 故主要部件為:存儲伺服器(中繼資料伺服器)+磁碟陣列。

通用雲存儲中許多都是通過優化改造傳統IPSAN/NAS存儲而演化而來, 其通過實現伺服器和存放裝置集群化管理,

存儲資源虛擬化, 達到分散式資料存儲, 因其內部資料處理以結構化資料為主。

工作模式:前端攝像機視頻資料流程經流媒體伺服器轉發到存儲管理伺服器集群, 最後在寫入指定的磁碟陣列。 視頻資料需經過流媒體伺服器轉發進入存儲伺服器, 一定流媒體故障, 系統業務中斷, 資料存在丟失風險。

通用雲存儲可以實現存儲資源虛擬化, 但虛擬化能力有限。 通用雲存儲以結構化的檔案系統存儲非結構化視頻圖片資料, 視頻存儲效率低。

基於以上幾點, 通用雲存儲產品當前都是面向全行業項目支持, 主要作為一款存儲方案, 即不對安防視頻應用做應用支撐.不太適合做安防視頻整體的解決方案。

安防專用的視頻雲存儲

基於雲架構進行開發,融合了集群應用、負載均衡、虛擬化、雲結構化、離散存儲等技術,將網路中各種不同類型的存放裝置,通過專業應用軟體集合起來協同工作,共同對外提供視頻、圖片資料存儲和業務訪問服務。

視頻雲存儲基本組成單元: 雲存儲管理伺服器、雲存儲存儲節點、雲存儲軟體。

視頻監控平臺根據業務需求為各前端攝像機下發錄影計畫,視頻雲存儲系統根據當前系統內的業務負載情況分配具體的存儲空間,前端攝像機推送視頻資料流程直寫到分配的存放裝置上。視頻雲存儲資料傳輸協定支援主流的流媒體協定(如RTSP/ONVIF/PSIA等)和GB/T28181規範;支持平臺直接調取,架構簡化而開放,空間自我管理,可獨立組網。

對於通用雲存儲,視頻雲存儲優勢如下

相在大型視頻監控專案中,視頻雲存儲在視頻/圖片存儲效率優於通用雲存儲。

在專案預算中,視頻雲存儲較通用雲存儲能節省部分伺服器投入,有成本優勢。

視頻雲存儲是專門針對視頻安防行業的高效安全穩定的後端存儲解決方案,所以可以支撐大量的視頻功能應用,這個也是通用雲存儲所不具備的。

視頻雲存儲特點如下:

1)高效靈活的空間管理

對存儲資源進行虛擬化整合,提高用戶管理效率;

支援存儲資源的線上擴展,實現容量與性能的線性增長;

虛擬空間可靈活調整,不但能擴大,同樣能縮小;後續產品只需要增加存儲節點就能完成容量升級

2)海量資料的快速檢索

採用一體化索引設計,大大提高了查找速度;

深化視頻、圖片的應用設計,支援I幀資訊快速讀取;

3)持續可靠的資料服務

提供7X24小時不間斷高效可持續的資料服務,充分保護資料安全和可靠性;

採用全集群化設計,性能全面提升,設備壓力負載均衡,單/多點故障,錄影業務不中斷;

資料存儲採用離散存儲演算法,提供系統級高效、穩定存取服務;

4)高可擴展的應用支撐

系統的高性能設計,能夠併發服務以滿足視頻資料的高速讀取需求。

採用流式資料結構,面向視頻、圖片資料而設計,滿足視頻資料的持續寫入;

深入開發視頻錄影的專業化應用設計,優化了應用的服務品質;

5)開放透明的相容系統

統一開放的應用功能介面,由上層業務平臺直接調用;

資料存儲採用離散存儲演算法,提供系統級高效、穩定存取服務;

6)高可擴展的應用支撐

7)開放透明的相容系統

統一開放的應用功能介面,由上層業務平臺直接調用;

採用的是標準設備相容模式,支援標準IP SAN、FC SAN存放裝置的接入;

目前需要存儲容量不斷增加,客戶要求資料存儲週期越來越長,帶庫和雲存儲融合方案慢慢呈現在客戶面前。

4.視頻雲+帶庫

長週期資料雲存儲+帶庫方案:致力於解決重要資料的歸檔備份,資料快速提取。存儲組成緩存存儲系統,提供足夠的存儲空間滿足熱資料及備份資料的容量需求,結合專業的備份軟體和磁帶庫實現資料的線上和離線備份雲存儲系統統一管理冷熱資料存儲及狀態切換,提供對熱資料的轉碼、壓縮等豐富的功能應用。同時完全繼承傳統雲存儲虛擬化資源配置、離散存儲、線上擴容、集群容災,相容協力廠商存儲等雲存儲特性

方案中所有存放裝置均可設計為冗餘連接,在滿足使用者存儲需求的同時,兼顧整個系統的存儲性能和安全性。

系統功能簡介

業務層面

支援即時視頻流、視頻檔、圖片、普通檔混合存儲;支援對資料自訂歸檔存儲,同時保存熱資料及歸檔資料;將客戶經常使用的視頻圖片及檔存入熱資料存儲資源池;把客戶訪問頻率不高的視頻視頻檔、圖片、普通檔且需要長週期存儲的資料存入冷資料存儲資源池.冷熱資料資料可以通過管理軟體實現資料移轉.資料歸檔和遷移時可以按照檔時間、檔大小、各級存儲的位置、檔的歷史版本、存根資訊等進行策略定制,實現基於策略的資料歸檔和遷移

資料高可靠性保障系統

帶庫方案是基於目前穩定的存儲系統架構,採用成熟穩定的硬體,可以保障系統長時間穩定運行。系統的管理軟體具有報警措施,控制軟體發現軟硬體異常時,通過多種方式進行報警。管理軟體包括快照和克隆的功能,可以使所管理的資料回滾到原來某一時刻的狀態,防止使用者錯誤操作帶來的資料丟失。同時通過存儲管理軟體實現備份功能。

高安全資料存儲

系統通過用戶名、密碼、IP位址認證等認證方式,保證資料空間存取權限的控制,保障資料不會被其他人惡意竊取或破壞。

方案中,根據客戶需求可以設定不同的登錄許可權和讀寫操作許可權,實現資料的安全性

存放裝置內嵌WORM歸檔模組,它是針對檔案類存儲提供的基於硬碟的寫一次,讀多次的存儲產品。可以有效防止關鍵檔資料被篡改。

高擴展的帶庫存儲

整個系統的存儲容量可以在不影響業務運行的情況下隨需採購磁帶擴展。存儲的性能也可以動態線性增加,通過增加驅動器的方式,拓寬整個系統的處理性能。

系統易擴展為遠端容災存儲系統。系統是基於存儲和備份軟體結合,易於實現遠端的資料傳輸;為以後擴展到其他地區,結合為一體的容災存儲系統建立好的基礎條件。

科學有效的備份實現

日常需要備份的主要業務資料,可以用檔同步和檔案備份功能實現。設定合理的備份策略, 盡可能利用非業務時間進行檔同步和備份,避免增加對應用局域網的負載壓力。

採用專業的檔集中備份功和資料庫備份功能實現。不干擾使用者的局域網正常業務,達到LAN FREE效果。

較低的保存環境要求

磁帶是可移動介質,可以異地離線保存,運輸方便,可以根據使用者需求在不同存放地點之間搬運,這對資料的安全來說是非常有利的,適合資料交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響,對存放條件要求簡單。

通常情況下,性價比和高可用仍是企業或者個人選擇存儲系統最優先考慮的兩大因素,此外存儲的易於部署和管理以及磁片和快閃記憶體的緊密整合也是企業使用者評估存儲的重要考慮因素.隨著大資料時代的來臨,企業會根據自身需求和預算來挑選適合自己的企業的解決方案。

整體來說,目前雲存儲發展最為迅猛, 以其遙遙領先的優勢獨佔鰲頭,必然會是未來大資料應用的重點組成部分,同時資料分層、融合以及智慧也將逐漸普及應用,可以說,安防行業為了迎接大資料來臨,已經做好了充足的準備。

安防專用的視頻雲存儲

基於雲架構進行開發,融合了集群應用、負載均衡、虛擬化、雲結構化、離散存儲等技術,將網路中各種不同類型的存放裝置,通過專業應用軟體集合起來協同工作,共同對外提供視頻、圖片資料存儲和業務訪問服務。

視頻雲存儲基本組成單元: 雲存儲管理伺服器、雲存儲存儲節點、雲存儲軟體。

視頻監控平臺根據業務需求為各前端攝像機下發錄影計畫,視頻雲存儲系統根據當前系統內的業務負載情況分配具體的存儲空間,前端攝像機推送視頻資料流程直寫到分配的存放裝置上。視頻雲存儲資料傳輸協定支援主流的流媒體協定(如RTSP/ONVIF/PSIA等)和GB/T28181規範;支持平臺直接調取,架構簡化而開放,空間自我管理,可獨立組網。

對於通用雲存儲,視頻雲存儲優勢如下

相在大型視頻監控專案中,視頻雲存儲在視頻/圖片存儲效率優於通用雲存儲。

在專案預算中,視頻雲存儲較通用雲存儲能節省部分伺服器投入,有成本優勢。

視頻雲存儲是專門針對視頻安防行業的高效安全穩定的後端存儲解決方案,所以可以支撐大量的視頻功能應用,這個也是通用雲存儲所不具備的。

視頻雲存儲特點如下:

1)高效靈活的空間管理

對存儲資源進行虛擬化整合,提高用戶管理效率;

支援存儲資源的線上擴展,實現容量與性能的線性增長;

虛擬空間可靈活調整,不但能擴大,同樣能縮小;後續產品只需要增加存儲節點就能完成容量升級

2)海量資料的快速檢索

採用一體化索引設計,大大提高了查找速度;

深化視頻、圖片的應用設計,支援I幀資訊快速讀取;

3)持續可靠的資料服務

提供7X24小時不間斷高效可持續的資料服務,充分保護資料安全和可靠性;

採用全集群化設計,性能全面提升,設備壓力負載均衡,單/多點故障,錄影業務不中斷;

資料存儲採用離散存儲演算法,提供系統級高效、穩定存取服務;

4)高可擴展的應用支撐

系統的高性能設計,能夠併發服務以滿足視頻資料的高速讀取需求。

採用流式資料結構,面向視頻、圖片資料而設計,滿足視頻資料的持續寫入;

深入開發視頻錄影的專業化應用設計,優化了應用的服務品質;

5)開放透明的相容系統

統一開放的應用功能介面,由上層業務平臺直接調用;

資料存儲採用離散存儲演算法,提供系統級高效、穩定存取服務;

6)高可擴展的應用支撐

7)開放透明的相容系統

統一開放的應用功能介面,由上層業務平臺直接調用;

採用的是標準設備相容模式,支援標準IP SAN、FC SAN存放裝置的接入;

目前需要存儲容量不斷增加,客戶要求資料存儲週期越來越長,帶庫和雲存儲融合方案慢慢呈現在客戶面前。

4.視頻雲+帶庫

長週期資料雲存儲+帶庫方案:致力於解決重要資料的歸檔備份,資料快速提取。存儲組成緩存存儲系統,提供足夠的存儲空間滿足熱資料及備份資料的容量需求,結合專業的備份軟體和磁帶庫實現資料的線上和離線備份雲存儲系統統一管理冷熱資料存儲及狀態切換,提供對熱資料的轉碼、壓縮等豐富的功能應用。同時完全繼承傳統雲存儲虛擬化資源配置、離散存儲、線上擴容、集群容災,相容協力廠商存儲等雲存儲特性

方案中所有存放裝置均可設計為冗餘連接,在滿足使用者存儲需求的同時,兼顧整個系統的存儲性能和安全性。

系統功能簡介

業務層面

支援即時視頻流、視頻檔、圖片、普通檔混合存儲;支援對資料自訂歸檔存儲,同時保存熱資料及歸檔資料;將客戶經常使用的視頻圖片及檔存入熱資料存儲資源池;把客戶訪問頻率不高的視頻視頻檔、圖片、普通檔且需要長週期存儲的資料存入冷資料存儲資源池.冷熱資料資料可以通過管理軟體實現資料移轉.資料歸檔和遷移時可以按照檔時間、檔大小、各級存儲的位置、檔的歷史版本、存根資訊等進行策略定制,實現基於策略的資料歸檔和遷移

資料高可靠性保障系統

帶庫方案是基於目前穩定的存儲系統架構,採用成熟穩定的硬體,可以保障系統長時間穩定運行。系統的管理軟體具有報警措施,控制軟體發現軟硬體異常時,通過多種方式進行報警。管理軟體包括快照和克隆的功能,可以使所管理的資料回滾到原來某一時刻的狀態,防止使用者錯誤操作帶來的資料丟失。同時通過存儲管理軟體實現備份功能。

高安全資料存儲

系統通過用戶名、密碼、IP位址認證等認證方式,保證資料空間存取權限的控制,保障資料不會被其他人惡意竊取或破壞。

方案中,根據客戶需求可以設定不同的登錄許可權和讀寫操作許可權,實現資料的安全性

存放裝置內嵌WORM歸檔模組,它是針對檔案類存儲提供的基於硬碟的寫一次,讀多次的存儲產品。可以有效防止關鍵檔資料被篡改。

高擴展的帶庫存儲

整個系統的存儲容量可以在不影響業務運行的情況下隨需採購磁帶擴展。存儲的性能也可以動態線性增加,通過增加驅動器的方式,拓寬整個系統的處理性能。

系統易擴展為遠端容災存儲系統。系統是基於存儲和備份軟體結合,易於實現遠端的資料傳輸;為以後擴展到其他地區,結合為一體的容災存儲系統建立好的基礎條件。

科學有效的備份實現

日常需要備份的主要業務資料,可以用檔同步和檔案備份功能實現。設定合理的備份策略, 盡可能利用非業務時間進行檔同步和備份,避免增加對應用局域網的負載壓力。

採用專業的檔集中備份功和資料庫備份功能實現。不干擾使用者的局域網正常業務,達到LAN FREE效果。

較低的保存環境要求

磁帶是可移動介質,可以異地離線保存,運輸方便,可以根據使用者需求在不同存放地點之間搬運,這對資料的安全來說是非常有利的,適合資料交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響,對存放條件要求簡單。

通常情況下,性價比和高可用仍是企業或者個人選擇存儲系統最優先考慮的兩大因素,此外存儲的易於部署和管理以及磁片和快閃記憶體的緊密整合也是企業使用者評估存儲的重要考慮因素.隨著大資料時代的來臨,企業會根據自身需求和預算來挑選適合自己的企業的解決方案。

整體來說,目前雲存儲發展最為迅猛, 以其遙遙領先的優勢獨佔鰲頭,必然會是未來大資料應用的重點組成部分,同時資料分層、融合以及智慧也將逐漸普及應用,可以說,安防行業為了迎接大資料來臨,已經做好了充足的準備。

Next Article
喜欢就按个赞吧!!!
点击关闭提示