近些年來,隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的不斷完善,各種基于互聯(lián)網(wǎng)的應(yīng)用層出不究。人們中不出戶就可以享受到豐富的娛樂、購物、交友。相對于傳統(tǒng)方式,這不僅給人們的生活帶來更大的便利,也帶來了前所未有的體驗。龐大的用戶群體產(chǎn)生了更旺盛的需求,和技術(shù)進步一起推動互聯(lián)網(wǎng)保持高速發(fā)展。同時,海量的數(shù)據(jù)也隨之而來,需要龐大的儲存設(shè)備來支撐。今天,服務(wù)器解決方案專家天下數(shù)據(jù)帶領(lǐng)大家一起了解互聯(lián)網(wǎng)行業(yè)存儲解決方案

常見的DAS、NAS、SAN存儲系統(tǒng)在互聯(lián)網(wǎng)行業(yè)中都有較多應(yīng)用,但一般的NAS和SAN架構(gòu)存儲系統(tǒng)無法勝任互聯(lián)網(wǎng)行業(yè)管理海量數(shù)據(jù)的要求。隨著存儲技術(shù)的發(fā)展和互聯(lián)網(wǎng)應(yīng)用的促進,集群存儲系統(tǒng)具備良好的擴展性,可以管理海量數(shù)據(jù)并滿足高并發(fā)下的聚合處理能力的要求。如果針對某些應(yīng)用進行適當?shù)恼{(diào)節(jié),可以滿足互聯(lián)網(wǎng)企業(yè)幾乎全部應(yīng)用的要求。

方案架構(gòu)

互聯(lián)網(wǎng)應(yīng)用中的數(shù)據(jù)可心籠統(tǒng)地歸為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)如用戶信息,交易信息和物品的描述信息等一般存放在MySQL數(shù)據(jù)庫,甚至是Oracle RAC數(shù)據(jù)庫集群中。非結(jié)構(gòu)化的數(shù)據(jù),如圖片、音視頻等均以文件形式直接存儲在集群文件系統(tǒng)中。某些可以歸為使用關(guān)鍵字進行操作的數(shù)據(jù),即key-value類型的數(shù)據(jù)保存在半結(jié)構(gòu)化存儲系統(tǒng)中。這些數(shù)據(jù)包括短小的文本內(nèi)容,采用URL索引的網(wǎng)頁數(shù)據(jù)等。由于幾乎所有的應(yīng)用都需要存儲非結(jié)構(gòu)化的數(shù)據(jù),而且某些應(yīng)用文件數(shù)量和尺寸都很大,全系統(tǒng)對于文件存儲的要求很高。

上圖是大型互聯(lián)網(wǎng)企業(yè)的服務(wù)結(jié)構(gòu),它分為存儲,服務(wù)和緩存三層,每一層次都可以按需訪問下一層的數(shù)據(jù)。存儲層對外提供數(shù)據(jù)庫存儲、key-value存儲和文件系統(tǒng)三類存儲形式,上層的各種應(yīng)用共享所有這些存儲子系統(tǒng)。其中所有的文件均可直接存儲在ParaStor并行存儲系統(tǒng)中。服務(wù)層運行在一組Web Server上,對外提供靜態(tài)和動態(tài)的數(shù)據(jù)訪問服務(wù)。一種應(yīng)用可以運行在若干臺Web Server組成的負載均衡集群上。緩存層緩存靜態(tài)數(shù)據(jù),如圖片、靜態(tài)頁面、音視頻文件等。

用戶的請求通過全局智能DNS負載平衡后,找到一個最近的緩存服務(wù)器并向它發(fā)出請求。如果數(shù)據(jù)是靜態(tài)的且已經(jīng)被緩存,緩存服務(wù)器直接應(yīng)答,否則將請求直接轉(zhuǎn)發(fā)給Web Server。Web Server將動態(tài)數(shù)據(jù)請求的應(yīng)答直接發(fā)給客戶端,靜態(tài)數(shù)據(jù)則發(fā)給緩存服務(wù)器保存。