傳統(tǒng)CDN撞上天花板

就時(shí)間而言，自誕生到成為互聯(lián)網(wǎng)企業(yè)的剛需，CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）僅用了20年。但在全世界CDN普及率不斷擴(kuò)大的趨勢(shì)下，中國(guó)的普及率仍然相對(duì)低下。賽迪顧問(wèn)的統(tǒng)計(jì)顯示，2015年，CDN在韓國(guó)的普及率達(dá)90%以上，在美國(guó)為80%以上，而這一數(shù)字在中國(guó)僅為50%左右。

盡管CDN已經(jīng)成網(wǎng)站服務(wù)的標(biāo)配，但由于計(jì)費(fèi)不透明、安全性等問(wèn)題，影響了它在中國(guó)的普及。尤為突出的是，一些企業(yè)不愿采用CDN的原因在于緩存內(nèi)容更新的速度不能滿足其需求。

一般來(lái)說(shuō)，通過(guò)自身的技術(shù)手段改善頁(yè)面，能在一定程度上避免內(nèi)容更新速度不及時(shí)的問(wèn)題。例如，把網(wǎng)站做成動(dòng)態(tài)形式，內(nèi)容就可以實(shí)時(shí)回源取得，無(wú)需依靠緩存。如果頁(yè)面的大部分內(nèi)容為靜態(tài)，內(nèi)容分發(fā)就需要依靠緩存，而緩存的更新具有滯后性，這時(shí)網(wǎng)站內(nèi)容更新速度難以滿足企業(yè)的要求。例如，某新聞網(wǎng)站刊登的內(nèi)容一旦出現(xiàn)錯(cuò)誤或者被黑客篡改，為避免更嚴(yán)重的事態(tài)，全網(wǎng)內(nèi)容需要即時(shí)更新，那么傳統(tǒng)的CDN緩存機(jī)制就暴露出其更新速度慢的缺陷。

1

消息隊(duì)列的局限

在傳統(tǒng)CDN的緩存機(jī)制中，全網(wǎng)內(nèi)容更新基于消息隊(duì)列的形式實(shí)現(xiàn)。當(dāng)內(nèi)容更新時(shí)，由一臺(tái)中心服務(wù)器管理上千臺(tái)設(shè)備，中心需要確認(rèn)所有設(shè)備的狀態(tài)和跟蹤設(shè)備的推送情況，當(dāng)設(shè)備失敗時(shí)需要重試。通過(guò)設(shè)備跟蹤、失敗重傳的方式，系統(tǒng)可以實(shí)現(xiàn)一次內(nèi)容在全網(wǎng)的更新完成。通常問(wèn)題如下：

1. 內(nèi)容更新有可能同時(shí)涉及到數(shù)量龐大的URL，消息隊(duì)列處理一條URL所用時(shí)間一般在上萬(wàn)毫秒級(jí)別，一次全網(wǎng)內(nèi)容的完整更新則需要數(shù)分鐘甚至數(shù)十分鐘，平均需要5分鐘左右，這樣的時(shí)間顯然無(wú)法滿足企業(yè)需求；

2. 一旦網(wǎng)絡(luò)出狀況，以目前的網(wǎng)絡(luò)實(shí)際狀況來(lái)看，傳統(tǒng)內(nèi)容更新方式有可能出現(xiàn)部分服務(wù)器在任務(wù)有效時(shí)間內(nèi)無(wú)法獲取更新。此時(shí)，中心收到跟蹤反饋后會(huì)重傳，最終效率還要再打折扣；

3. 消息隊(duì)列只通過(guò)任務(wù)開(kāi)始的時(shí)間順序?qū)θ蝿?wù)進(jìn)行排隊(duì)處理，而任務(wù)更新的緊迫程度往往和任務(wù)開(kāi)始的時(shí)間順序不相符，這導(dǎo)致任務(wù)更新的不公平。

2

優(yōu)化路徑為何失敗

如果從精準(zhǔn)度上針對(duì)消息隊(duì)列算法進(jìn)行優(yōu)化，可以滿足企業(yè)對(duì)內(nèi)容更新速度的要求。目前可以實(shí)現(xiàn)的優(yōu)化路徑，一種是通過(guò)域名鏈，即DNS區(qū)域覆蓋的方式探知為客戶服務(wù)的設(shè)備。這樣可以只針對(duì)為客戶服務(wù)的設(shè)備進(jìn)行內(nèi)容更新，更具精確性，因此減少了不必要的工作。另外，可以通過(guò)邊緣節(jié)點(diǎn)向中心服務(wù)器主動(dòng)發(fā)出更新詢問(wèn)的方式進(jìn)行內(nèi)容更新。

這兩種優(yōu)化方式一般疊加使用，其效果可以將更新時(shí)間從5分鐘優(yōu)化至1分鐘左右。這種效果雖然顯著，但對(duì)于傳統(tǒng)企業(yè)來(lái)說(shuō)，5分鐘或1分鐘都達(dá)不到對(duì)內(nèi)容即時(shí)更新的需求。

3

即時(shí)更新的突破口

SHAQUE技術(shù)由白山的技術(shù)團(tuán)隊(duì)自主研發(fā)，解決了傳統(tǒng)CDN技術(shù)上速度和效率不能兼得的問(wèn)題。SHAQUE技術(shù)是借鑒蟻群效應(yīng)中的模擬進(jìn)化算法和P2P對(duì)等技術(shù)，利用智能優(yōu)化算法和peer節(jié)點(diǎn)的松散耦合性，使所有存儲(chǔ)服務(wù)器上的文件可以在極短的時(shí)間內(nèi)完成內(nèi)容更新，進(jìn)而保障緩存服務(wù)器上的用戶不管在瀏覽還是在交互上都有質(zhì)的飛躍。

P2P是依賴于網(wǎng)絡(luò)中參與者的計(jì)算能力和帶寬，由多臺(tái)客戶端計(jì)算機(jī)通過(guò)直接交換，來(lái)共享計(jì)算機(jī)資源和服務(wù)的技術(shù)。在P2P架構(gòu)中，千萬(wàn)臺(tái)彼此連接的計(jì)算機(jī)都處于對(duì)等的地位。網(wǎng)絡(luò)中的每臺(tái)計(jì)算機(jī)既充當(dāng)網(wǎng)絡(luò)的請(qǐng)求者，又能對(duì)其它計(jì)算機(jī)的請(qǐng)求做出響應(yīng)，提供資源和服務(wù)。

至今演進(jìn)到了第三代的P2P技術(shù)是一種結(jié)構(gòu)性的分布式網(wǎng)絡(luò)架構(gòu)，它適用于P2P的網(wǎng)絡(luò)結(jié)構(gòu)拓?fù)湟仓饾u變多。比較流行的有DHT結(jié)構(gòu)、樹形結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)。SHAQUE技術(shù)利用的是雙層P2P網(wǎng)狀結(jié)構(gòu)，其為P2P提供了最大的容忍性和動(dòng)態(tài)適應(yīng)性。

全網(wǎng)設(shè)備按物理區(qū)域分成數(shù)個(gè)區(qū)域網(wǎng)絡(luò)，每個(gè)區(qū)域網(wǎng)絡(luò)根據(jù)選舉算法選擇一個(gè)leader，同時(shí)將這些leader組成一個(gè)網(wǎng)絡(luò)。這樣一來(lái)，全網(wǎng)服務(wù)器都成為周圍服務(wù)器的中心，讓內(nèi)容病毒式擴(kuò)散，再根據(jù)終止反饋使算法收斂，讓整個(gè)系統(tǒng)形成全中心結(jié)構(gòu)的無(wú)隊(duì)列消息推送機(jī)制，這時(shí)候?qū)τ谒�有機(jī)器來(lái)講，其收到更新內(nèi)容和反饋的時(shí)間就等于機(jī)器之間的TTL時(shí)間，一般在數(shù)毫秒到數(shù)十毫秒內(nèi)。

蟻群算法的基本思想是正反饋與分布式協(xié)作，單體通過(guò)簡(jiǎn)單的指令選擇更好路徑，而這一選擇又使得整體路徑的被選擇機(jī)會(huì)更大，最終使整體涌現(xiàn)出最優(yōu)路徑選擇。蟻群算法是一種漸進(jìn)式收斂算法，這種收斂算法的收斂速度與解的質(zhì)量遠(yuǎn)遠(yuǎn)高出其它搜索算法。SHAQUE技術(shù)融合蟻群算法，利用整體路徑優(yōu)化的特性，優(yōu)化內(nèi)容傳播的路徑，最終使每臺(tái)服務(wù)器都能不斷通過(guò)反饋得到其能推送到的最快服務(wù)器組。

4

推送1秒內(nèi)完成

借助SHAQUE技術(shù)，白山的服務(wù)器每天可以處理上千萬(wàn)條URL，每條的處理都在1秒之內(nèi)。

病毒式推送機(jī)制的缺點(diǎn)是當(dāng)設(shè)備數(shù)量增多時(shí)全網(wǎng)更新速度會(huì)減慢。但經(jīng)過(guò)反復(fù)實(shí)驗(yàn)，500臺(tái)設(shè)備的推送時(shí)間為600毫秒，千臺(tái)設(shè)備的推送時(shí)間是700毫秒。一般超大型CDN廠商的全網(wǎng)服務(wù)器為上萬(wàn)臺(tái)，其速度仍然可控制在1秒之內(nèi)。

隨著設(shè)備的持續(xù)增加，SHAQUE智能識(shí)別模塊還可進(jìn)行橫向擴(kuò)展，即只推送給為客戶服務(wù)的設(shè)備，從而使SHAQUE技術(shù)長(zhǎng)久保持“秒推”效果。