論文類別:專家論文
作 者:佚名
所在地區:大數據石油企業信息化建設探討
下載次數:817
摘 要:
3.2大規模數據并行處理及計算
為提高大規模數據并行處理能力,石油企業可摒棄對底層技術過多分析,而是以應用問題自身計算過程、計算方法為核心。在GoogleMapReduce軟件架構支持下,以內存計算為基礎,利用Spark系統優勢,加快大規模數據并行處理及計算速度。同時依據云計算設備互通、自適應特點,石油企業可以基礎設備層為入手點,制定儲存池化、網絡池化、計算池化三種不同層次的池化資源。其中儲存池化主要是根據用戶請求,進行儲存資源的靈活分配;網絡池化主要是將石油企業多個機房內進行互相聯通,由統一網絡池化器進行調度管理,以實現不同地區網絡機房網絡通信的高度可用性。這種情況下,在某一設備出現故障后,就可以將另外一個地區作為網絡備災系統,保證大規模數據處理系統的無縫隙連接;計算池化主要是在當前數據計算請求超出計算池計算能力的情況下,將虛擬化冗余計算資源融入計算池內(韋博,互聯網背景下的石油行業大數據的信息化應用,電腦知識與技術,2017年第24期25-26頁)。其可以脫離地理位置、時間、空間限制,靈活遷入或者遷出計算池,保證內部計算資源的高效率應用。在基于大規模數據并行處理及計算的信息化模式建設過程中,石油企業可以云計算為基礎,摒棄以往SAAS簡單云模式開發方式。而是以在線協作管理、信息化信息審批、PaaS平臺開發為核心,構建較為成熟的云計算平臺。在云計算平臺建設階段,石油企業可以借鑒自身擁有的大量信息化設施,利用充足的軟硬件資源及自動化、網格計算、虛擬化等云計算,將原有數據中心進行進一步優化。同時進行面向企業內部服務的私有云架構的構建,以便提高內部業務需求響應速率。其中虛擬化主要是針對服務器、網絡、內存等物理資源邏輯表示,通過虛擬化技術,將物理資源、系統、主機、移動儲存設備、IT設備維護、IT設備更新等模塊進行有機整合,以提高服務器設備利用率。此外,在私有云搭建過程中,為保證后期大規模數據云計算系統穩定運行,石油企業可在保證自身擁有數據完全控制權的基礎上,與云廠商合作,進行云計算技術方案的開發。
上一頁 [1] [2] [3] [4] [5] 下一頁