平安城市存儲現狀與需求

　　平安城市視頻監控系統的建設實現所有圖像資源的集中管理，最大限度實現跨地區、跨部門視頻監控資源共享和互聯互通互控。目前全國公安機關共安裝監控攝像機近300萬臺，社會安裝監控攝像機約2000萬臺，監控點的高清比例約為50%。如果1080P視頻圖像按照4M碼率、24小時不間斷存儲30天計算，1000路1080P視頻圖像的存儲容量就已經達到了1個PB，1萬路的1080P視頻圖像的存儲容量已經超過了10PB，平安城市建設已經全面進入存儲P時代。

　　同時，按照中央深化社會體制改革的整體部署，公安部會同國家發改委、中央綜治辦等部門研究起草并聯合印發了《關于加強公共安全視頻監控建設聯網應用工作的若干意見》，提出2020年實現“全域覆蓋、全網共享、全時應用、全程可控”的總體目標。按照全域覆蓋的要求，一個中等規模的縣級城市攝像機數量可能達到5000路以上，全省視頻聯網路數在10萬路以上，按照1080P視頻圖像4M碼率、24小時不間斷存儲30天計算，存儲容量將超過100PB，面對如此海量視頻存儲數據的價值信息提取，勢必對存儲系統的容量、擴展性、性價比、性能、管理性、穩定性等提出更高的要求。

　　面對PB級的海量視頻存儲需求，傳統的NVR或IPSAN存儲模式在容量和性能上存在一定瓶頸。其系統的吞吐能力無法滿足高并發視頻存儲、回放的需求，且無法適應業務變化對云存儲系統能力的需求。通過采購更多、更高端的硬件設備來提高存儲能力的方式，會使部署成本急劇增長，系統復雜性提升，運維壓力也隨之提高。因此，建設大規模存儲系統也是平安城市視頻存儲的剛需。

　　然而傳統的存儲設備主要通過RAID方式實現單個存儲節點內部的可靠性，數據保護能力有限。當存儲節點斷電或宕機時，會出現存儲業務中斷，導致錄像丟失等情況，無法保障存儲數據的安全性。另外，傳統的存儲方式無法將整個存儲資源進行統一管理，而是將每個設備的空間獨立分配及管理，這會使部分設備出現碎片化的容量空間，且新增設備無法整合此類存儲空間，造成空間浪費，使空間利用率下降。某些存儲設備損壞時，僅通過人工巡檢查漏補缺，也增加了運維難度和運維成本。

　　隨著平安城市的持續建設，在攝像機數量不斷增長，用戶需求對高清要求激增的情況下，視頻數據量呈爆炸式增長，這就更加催生了具備海量存儲和高速讀寫性能的云存儲系統應用，以應對PB級的視頻存儲需求。

　　東方網力視頻云存儲

　　云存儲是在云計算(cloudcomputing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、虛擬化、網格技術或分布式文件系統等技術，將網絡中大量、各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。

　　東方網力視頻云存儲結合平安城市業務系統規模大小不一、業務模式集中和分散相結合等特點，以視頻、圖片文件存儲和管理為核心，采用面向大規模數據密集型應用的、可伸縮的分布式文件系統，存儲視頻圖片數據，有效提高快速并發讀寫能力、存儲空間彈性擴展能力和系統可靠性，滿足安防視頻監控的新要求，解決城市級海量視頻數據存儲、檢索問題，并能夠結合平安城市業務提供靈活的部署方式。存儲的內容分為結構化數據和非結構化數據，結構化數據采用分布式數據存儲；而非結構化數據(例如視頻、圖片、文本、特征等)存儲在分布式文件系統中。

　　東方網力視頻云存儲系統可分為硬件層、軟件層、業務層以及應用層四個層級。

　　硬件層提供存儲設備，存儲視頻、圖片等文件。它包括網絡和物理節點及節點內的硬盤、網卡、內存等。

　　軟件層為硬件層服務，實現硬件的虛擬化。管理各個硬件存儲設備、實現硬件的可擴展性和穩定性。軟件層主要是分布式文件系統和多種增值特性，提供分布式存儲、故障自動恢復、性能負載均衡、元數據服務等服務，對整個系統進行統一管理。

　　業務層主要提供實時視頻存儲ROFS系統和視圖數據存儲PFS兩種存儲技術，主要作用是將實時視頻、歷史視頻以及圖片按照不同的存儲策略存儲在不同的存儲卷中。業務層將整個存儲池分為視頻監控、大文件、小文件3個卷，分別存儲實時視頻、歷史視頻、圖片和文本文件，它們在邏輯上和物理上相互隔離。針對不同的文件采用不同的技術處理，使云存儲系統更加適應平安城市視頻監控大數據量存儲的應用。

　　應用層為公安業務應用、政府業務應用、其他行業業務應用等，云存儲系統可對各類業務應用提供大容量的數據存儲，可以將業務平臺的實時視頻、歷史視頻、圖片、文本信息等通過云存儲保存，進行統一的存儲。

　　全對稱架構

　　目前的云存儲系統從架構上區分有兩類，即全對稱云存儲架構和非全對稱云存儲架構兩種。非對稱架構指云存儲系統中，除了存儲服務器外，還需單獨的機頭服務器或元數據服務器。東方網力視頻云存儲采用全對稱架構，所有節點的硬件、軟件、功能完全一樣，即其元數據和錄像數據分布在集群中的不同存儲節點中，無需單獨的機頭服務器或元數據服務器。在該架構下所有的存儲設備位置一樣，經過云存儲軟件系統將存儲服務器進行整合，一同發揮效應。

　　動態負載均衡

　　現有的網絡中往往會存在因帶寬、吞吐量導致的存儲性能異常的問題，負載均衡就是在這種網絡結構上，來加強數據處理能力、提高靈活性和可用性。東方網力視頻云存儲的動態負載均衡表現在兩方面：一方面是寫時均衡：系統周期性地從各個節點收集負載情況，當增加一路錄像或集群中有節點宕機時，集群會自動選擇負載相對較低的節點寫入數據；另一方面是再次均衡：當集群中某些節點的負載達到緊張值，可將其存儲業務平滑過渡到其他負載較小且未達到緊張值的節點上，且業務不中斷。

　　虛擬化管理

　　東方網力視頻云存儲系統是將多個存儲服務器的磁盤空間和內存資源聚集成一個單一的虛擬存儲資源池，對上層用戶和應用屏蔽了底層的物理硬件。簡化了與業務系統的接口，保證了系統使用的簡易性。同時，存儲的擴展僅限存儲內部，而不會影響到系統與業務系統的接口，也保證了存儲空間內數據的高共享能力。

　　視頻流直存

　　東方網力視頻云存儲系統接收聯網平臺下發的錄像計劃(包括開流時間、關流時間、錄像通道信息及存儲ID)后，將前端攝像機的視頻流直接寫入存儲設備，無需借助第三方設備，可實現7*24小時不間斷的視頻流直存。

　　特有的流式存儲系統

　　隨著公安業務的多樣化和視頻數據的爆炸式增長，對視頻數據的并發讀寫性能及安全性都提出了很高的要求。東方網力視頻云存儲采用特有的流式存儲系統，該文件存儲系統主要用于存儲視頻流數據，以時間作為索引進行查詢操作，可實現多路視頻流的高性能存儲與回放。它是根據視頻存儲的讀寫特點，針對視頻存儲數據的安全性、可靠性設計的存儲系統。

　　該存儲系統單節點的(讀加寫)性能可達500Mb/s，50個節點以內的集群的讀寫性能隨節點數量的增加呈線性增長；數據進行格式化時，時間不超過100毫秒，無需長時間等待；并且提供穩定可靠的redis服務，定期將元數據寫入磁盤，當服務異常終止之后，可用磁盤中的元數據進行恢復，保證錄像數據不丟失。

　　在線擴容

　　隨著平安城市視頻監控行業存儲需求的增加，視頻文件的總容量將達到PB級，此時，項目就面臨著擴容問題。傳統的存儲方式設備的存儲容量有限，在擴容時需要給上層業務服務器重新分配空間，嚴重影響上層視頻共享業務的連續性，且存儲性能、安全性、可靠性、經濟性都會隨著系統的擴展而大大降低。東方網力視頻云存儲系統支持橫向擴展(Scale-Out)，通過增加存儲服務器數量和磁盤數量，實現系統容量、性能的擴展，是單集群的存儲容量達到PB級。

　　系統提供了大容量存儲系統集中管理的手段，擴容僅僅是管理員對新加設備的節點掛接，對整個系統的運行沒有影響，在快速融合新增設備的同時保證業務不中斷，也避免了設備擴充帶來的管理麻煩。在線擴容是在不需要停止在線業務的情況下，增加或刪除存儲節點，使系統的存儲容量動態增加或縮小。由于東方網力視頻云存儲系統是一個整體，只對外提供整體的存儲空間，因此節點的增減對業務層僅表現為存儲容量的增加和刪除，不會影響上層業務。

　　結語

　　面對超大數據量的存儲，只有采用高性能、高可靠性的云存儲技術才能滿足平安城市項目對視頻數據多樣化的應用需求。各大安防軟件平臺廠商只有不斷提高技術水平，不斷對產品創新，高質量、高效率地滿足用戶需求，才能在未來平安城市項目競爭中嶄露頭角。