1 網(wǎng)絡流量管理現(xiàn)狀分析與解決辦法
網(wǎng)絡尤其是互聯(lián)網(wǎng)的原始設計理念導致了其在流量管理方面存在著能力缺陷,盡管業(yè)界已經(jīng)從技術、管理、法律、制度等多個方面采取了很多措施來彌補這些能力的缺失,但當前的網(wǎng)絡流量管理依然存在著如下的問題:
(1)重網(wǎng)絡,輕業(yè)務
當前,絕大多數(shù)的網(wǎng)絡流量管理措施都位于網(wǎng)絡層,主要致力于網(wǎng)絡性能(QoS)優(yōu)化的基本流量流向的控制,以及簡單粗略的源地址過濾。即便是基于業(yè)務的流量管理措施,也多是依據(jù)網(wǎng)絡層的協(xié)議信息和傳輸層的標準端口號進行制定,業(yè)務流量管理效果十分有限,尤其對P2P的流量管理,有些力不從心。
(2)業(yè)務層和網(wǎng)絡層缺乏通用性和關聯(lián)性
當前針對業(yè)務的流量管理技術和措施大多都是一事一議,只針對特定業(yè)務應用,缺乏通用性;另一方面由于互聯(lián)網(wǎng)本身網(wǎng)絡與業(yè)務分離的基本特征,也導致了業(yè)務層的流量管理措施和網(wǎng)絡基礎設施之間缺乏關聯(lián)性,常常導致治標不治本。
(3)缺乏主動性
當前的網(wǎng)絡流量管理主要還是建立在簡單網(wǎng)絡管理協(xié)議(SNMP)、遠程網(wǎng)絡監(jiān)測(RMON)、NetFlow、Sniffing等被動的流量管理技術之上的,缺乏主動的網(wǎng)絡流量檢測分析和用戶行為分析,尤其在安全防護方面,缺乏一個主動、全網(wǎng)的安全威脅防御機制。
(4)管理不夠精細
互聯(lián)網(wǎng)是一個有機的整體,包括用戶、網(wǎng)絡和業(yè)務。而當前的網(wǎng)絡流量管理僅僅是一種粗放的網(wǎng)絡資源的調(diào)度,很難實現(xiàn)精細的網(wǎng)絡資源、業(yè)務資源和用戶資源的綜合管理。
產(chǎn)生上述這些問題的一個顯而易見的原因是當前的網(wǎng)絡流量管理缺乏對用戶和業(yè)務的感知能力,要解決這些問題,就有必要在網(wǎng)絡流量管理中引入一雙“慧眼”,智能和主動地對業(yè)務流量和用戶行為進行檢測分析,而這雙“慧眼”正是業(yè)務識別。
2 業(yè)務識別
業(yè)務識別|(Application Awareness)是伴隨著網(wǎng)絡業(yè)務的蓬勃發(fā)展而出現(xiàn)的一個新的概念,通過對業(yè)務流量從數(shù)據(jù)鏈路層到應用層的報文深度檢查分析,依據(jù)協(xié)議類型、端口號、特征字符串和流量行為特征等參數(shù),獲取業(yè)務類型、業(yè)務狀態(tài)、業(yè)務內(nèi)容和用戶行為等信息,并進行分類統(tǒng)計和存儲。
2.1 業(yè)務識別工作過程
業(yè)務識別的基本目的是幫助網(wǎng)絡管理者獲得網(wǎng)絡層之上的業(yè)務層流量信息,如業(yè)務類型、業(yè)務狀態(tài)、業(yè)務分布、業(yè)務流量流向等。業(yè)務識別是一個相對復雜的過程,需要多個功能模塊的協(xié)同工作,業(yè)務識別的工作過程如圖1所示,簡單描述如下:
圖1 業(yè)務識別工作過程
·識別處理模塊采用多通道識別處理,通過對網(wǎng)絡流量的源/目的IP地址和源/目的端口號的Hash算法,將網(wǎng)絡流量均勻的分配到多個處理通道中。
·多處理通道并行執(zhí)行網(wǎng)絡流量的深度報文檢查,獲取網(wǎng)絡流量的特征信息,并與業(yè)務識別特征庫中的特征進行比對。
·將匹配結(jié)果送往識別處理模塊,并標識特定網(wǎng)絡流量。如果存在多個匹配結(jié)果,選取優(yōu)先級較高的匹配結(jié)果進行標識。特定網(wǎng)絡流量一經(jīng)識別確定,該網(wǎng)絡流量的后續(xù)連接將不再進行深度的報文檢查,直接將其網(wǎng)絡層和傳輸層信息與已知識別結(jié)果進行比對,提高執(zhí)行效率。
·識別處理模塊將網(wǎng)絡流量的業(yè)務識別結(jié)果存儲到識別結(jié)果存儲模塊中,為網(wǎng)絡流量的統(tǒng)計分析提供依據(jù)。
·統(tǒng)計分析模塊從識別結(jié)果存儲模塊中讀取相關信息,并以曲線、餅圖、柱狀圖或者文本的方式將識別結(jié)果信息顯示,或以文件的形式輸出。
·在結(jié)果存儲模塊中保存的識別結(jié)果信息會輸出到網(wǎng)絡流量管理功能區(qū),為實施網(wǎng)絡流量管理提供依據(jù)。
2.2 業(yè)務識別技術
目前常用、典型的業(yè)務識別技術就是我們所熟知的DPI技術和DFI技術。
2.2.1 DPI技術
DPI是深度報文檢測(Deep Packet Inspection)的簡稱,是一種典型的業(yè)務識別技術。DPI技術之所以稱為“深度”的檢測技術,是相對于傳統(tǒng)的檢測技術而言的。傳統(tǒng)的流量檢測技術僅獲取那些寄存在數(shù)據(jù)包網(wǎng)絡層和傳輸層協(xié)議頭中的基本信息,包括源/目的IP地址、源/目的傳輸層端口號、協(xié)議號,以及底層的連接狀態(tài)等。通過這些參數(shù)很難獲得足夠多的業(yè)務應用信息。對于當前P2P應用、VoIP應用、IPTV應用被廣泛開展的情況,傳統(tǒng)的流量檢測技術已經(jīng)不能滿足網(wǎng)絡流量管理的需要了。
DPI技術對傳統(tǒng)的流量檢測技術進行了“深度”擴展,在獲取數(shù)據(jù)包基本信息的同時,對多個相關數(shù)據(jù)包的應用層協(xié)議頭和協(xié)議負荷進行掃描,獲取寄存在應用層中的特征信息,對網(wǎng)絡流量進行精細的檢查、監(jiān)控和分析,如圖2所示。
圖2 DPI技術中業(yè)務流量的分析方法
DPI技術通常采用如下的數(shù)據(jù)包分析方法:
·傳輸層端口分析。許多應用使用默認的傳輸層端口號,例如HTTP協(xié)議使用80端口。
·特征字匹配分析。一些應用在應用層協(xié)議頭,或者應用層負荷中的特定位置中包含特征字段,通過特征字段的識別實現(xiàn)數(shù)據(jù)包檢查、監(jiān)控和分析。
·通信交互過程分析。對多個會話的事務交互過程進行監(jiān)控分析,包括包長度、發(fā)送的包數(shù)目等,實現(xiàn)對網(wǎng)絡業(yè)務的檢查、監(jiān)控和分析。
2.2.2 DFI技術
DFI是深度流行為檢測(Deep Flow Inspection)的簡稱,也是一種典型的業(yè)務識別技術。DFI技術是相對于DPl技術提出的,為了解決DPI技術的執(zhí)行效率、加密流量識別和頻繁升級等問題而出現(xiàn)的。DFI更關注于網(wǎng)絡流量特征的通用性,因此,DFI技術并不對網(wǎng)絡流量進行深度的報文檢測,而僅通過對網(wǎng)絡流量的狀態(tài)、網(wǎng)絡層和傳輸層信息、業(yè)務流持續(xù)時間、平均流速率、字節(jié)長度分布等參數(shù)的統(tǒng)計分析,來獲取業(yè)務類型、業(yè)務狀態(tài)。如圖3所示。
圖3 DFI技術中業(yè)務流量的分析方法
從圖中可以看出,同為P2P流量的Kazza和Gnutella流量在外在行為特征上是趨于一致的,或者說具有共同的特性;而P2P流量和HTTP流量無論是在數(shù)據(jù)包大小的峰值,還是在數(shù)據(jù)包大小的分布上都有著明顯的不同。因此,可以根據(jù)這些特定業(yè)務流量的外在行為特征進行業(yè)務識別。例如,Bittorrent應用的流量具備如下的行為特征:四層端口號為6881-6889、數(shù)據(jù)包平均大小超過700字節(jié),持續(xù)時間超過8s等。
2.2.3兩種識別技術的比較
兩種技術的設計基本目標都是為了實現(xiàn)業(yè)務識別,但是兩者在實現(xiàn)的著眼點和技術細節(jié)方面還是存在著較大區(qū)別的。下面我們從技術成熟程度、識別準確程度、識別精細程度、加密流量識別和執(zhí)行效率等幾方面對兩種技術進行比較。兩種技術的比較見表1。
表1 DPI技術和DFI技術的對比
表1從兩種技術的對比情況看,兩者互有優(yōu)勢,也互有短板,DPI技術適用于需要精細和準確識別、精細管理的環(huán)境,而DFI技術適用于需要高效識別,粗放管理的環(huán)境。
3 業(yè)務識別在網(wǎng)絡流量管理中的應用
網(wǎng)絡流量管理的基本目標是了解網(wǎng)絡、業(yè)務和用戶資源的使用情況,找到性能瓶頸并進行精細化管理,對用戶行為進行分析和控制,以及對信息安全防護。下面我們就從這幾個方面著手,描述業(yè)務識別在網(wǎng)絡流量管理中的應用。
3.1流量統(tǒng)計分析和趨勢判斷
在網(wǎng)絡中多個層面的網(wǎng)絡設備中集成業(yè)務識別功能,如骨干節(jié)點之間、服務提供商互聯(lián)節(jié)點之間、國際出口、城域網(wǎng)出口和城域網(wǎng)接入層等,或者單獨部署具備業(yè)務識別功能的網(wǎng)絡設備對網(wǎng)絡流量進行統(tǒng)計分析和趨勢判斷。
通過業(yè)務識別,網(wǎng)絡管理者能夠知道當前網(wǎng)絡中的業(yè)務流量的類型、帶寬、時間和空間分布、流向等信息。如圖4所示。
圖4 業(yè)務流量的統(tǒng)計分析和趨勢判斷
3.2資源管理
將業(yè)務識別能力添加到網(wǎng)絡流量管理中,能夠幫助網(wǎng)絡管理者對網(wǎng)絡資源和業(yè)務資源進行帶寬控制和資源調(diào)度。
具備業(yè)務識別能力的網(wǎng)絡流量管理將具備P2P應用的管理能力,通過對P2P流量的抑制來提升傳統(tǒng)數(shù)據(jù)業(yè)務的用戶體驗度。如圖5所示。
圖5 對P2P流量的管理
具備業(yè)務識別能力的網(wǎng)絡流量管理還能夠?qū)乐赜绊憳I(yè)務運營者收入的未經(jīng)許可的業(yè)務進行抑制。通過對VoIP信令流量和媒體流量的關聯(lián)檢測和統(tǒng)計分析,通過截斷媒體數(shù)據(jù)包、偽裝信令報文等方式對VoIP業(yè)務進行流量管理。通過綜合使用網(wǎng)絡層、傳輸層和應用層檢測技術,對未經(jīng)許可的寬帶私接用戶采取中斷連接、主動告警、分時控制等多種管理動作,實現(xiàn)對未經(jīng)許可的寬帶私接的流量管理。
業(yè)務識別還能夠幫助網(wǎng)絡流量管理實現(xiàn)業(yè)務資源的調(diào)度,業(yè)務識別能夠獲得業(yè)務資源使用、業(yè)務狀態(tài)的實時隋況。當某一業(yè)務服務器負載較大時,可以進行全局的業(yè)務資源負載均衡,平均的承擔業(yè)務請求;同時也能夠?qū)τ脩舻臉I(yè)務請求進行調(diào)度,決定是否繼續(xù)響應用戶新的業(yè)務請求,或者根據(jù)用戶的優(yōu)先級,優(yōu)先響應高優(yōu)先級用戶的業(yè)務請求,提升業(yè)務運營效率。
3.3精細化管理
在城域網(wǎng)接入層的網(wǎng)絡設備中集成業(yè)務識別功能,或者單獨部署具備業(yè)務識別功能的網(wǎng)絡設備對網(wǎng)絡流量識別并進行精細化管理。
網(wǎng)絡管理者可以將用戶接入網(wǎng)絡過程中的用戶認證ID、獲得的IP地址和特殊的接入屬性等用戶特征信息,與相關業(yè)務流量的類型、狀態(tài)或者內(nèi)容等業(yè)務流量特征信息的綁定,對不同用戶的不同業(yè)務流量進行區(qū)分,實施精細化的管理。例如,為金牌用戶預留2Mbit/s的網(wǎng)絡帶寬,而為銅牌用戶預留512Kbit/s的網(wǎng)絡帶寬;或者為同一用戶的不同業(yè)務提供不同的QoS控制,為網(wǎng)絡視頻業(yè)務提供較高的優(yōu)先級,而為互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務提供盡力而為的轉(zhuǎn)發(fā),在網(wǎng)絡出現(xiàn)擁塞時,網(wǎng)絡視頻業(yè)務優(yōu)先轉(zhuǎn)發(fā)。
另一方面,業(yè)務識別能夠幫助網(wǎng)絡管理者獲知特定的業(yè)務內(nèi)容,當用戶使用網(wǎng)絡視頻業(yè)務時,能夠判斷出用戶是從何處獲得了媒體資源,并生成基于內(nèi)容特征的計費信息,方便與內(nèi)容提供商進行后續(xù)結(jié)算,實現(xiàn)業(yè)務的精細化運營。
此外,具備業(yè)務識別的網(wǎng)絡流量管理還能夠幫助服務提供商改變業(yè)務運營模式,由用戶被動地接受轉(zhuǎn)變到用戶主動的個性化定制。服務提供商向用戶提供業(yè)務個性化定制平臺并接受用戶的個性化業(yè)務定制,隨后將這些個性化業(yè)務定制轉(zhuǎn)換為基于用戶的個性化流量管理措施,當用戶進行業(yè)務使用時,服務提供商將能夠根據(jù)這些個性化措施對用戶流量施以個性化的流量管理,用戶也能夠動態(tài)的調(diào)整和取消個性化的業(yè)務定制。
3.4網(wǎng)絡安全防護
在網(wǎng)絡中的多個層面的網(wǎng)絡設備中集成業(yè)務識別功能,或者單獨部署具備業(yè)務識別功能的網(wǎng)絡設備,和防火墻等網(wǎng)絡安全設備協(xié)同構(gòu)建一個主動的安全威脅防御體系,提升整個網(wǎng)絡的安全防護能力。
具備業(yè)務識別能力的網(wǎng)絡流量管理具有主動的流量特征識別分析能力,能夠主動的發(fā)現(xiàn)諸如DDoS攻擊、病毒和木馬等異常流量,較好的彌補其他網(wǎng)絡安全設備[如防火墻、入侵防護系統(tǒng)(IPS)和統(tǒng)一威脅管理(UTM)等]的不足,提升其主動發(fā)現(xiàn)安全威脅的能力,并能夠及時的向其他網(wǎng)絡安全設備發(fā)出告警,從安全威脅源頭開始就進行主動的防御。
此外,具備業(yè)務識別能力的網(wǎng)絡流量管理還能夠獲取并保存網(wǎng)絡流量的網(wǎng)絡層信息(例如,源/目的IP地址、用戶標識ID等信息),通過這些信息,網(wǎng)絡管理者能夠進行有效的安全威脅的溯源定位。
3.5用戶行為分析和控制
在靠近用戶的邊緣設備中集成業(yè)務識別能力,或單獨部署具備業(yè)務識別能力的網(wǎng)絡設備,服務提供商能夠獲得用戶級別的網(wǎng)絡流量統(tǒng)計信息,通過后臺分析系統(tǒng)的數(shù)據(jù)挖掘,能夠獲得包括用戶業(yè)務流量類型、用戶平均上網(wǎng)時間、用戶主要在線時段、用戶興趣等在內(nèi)的用戶個性化特征信息。根據(jù)這些信息,服務提供商能夠及時和準確的調(diào)整業(yè)務運營方式、業(yè)務運營內(nèi)容、或者發(fā)現(xiàn)新的業(yè)務增長點。例如,向用戶主動推送用戶感興趣的廣告、生活信息、交通信息等。還能夠根據(jù)這些信息,對隨意性較強的用戶行為進行必要的管理。例如,禁止在工作時間觀看在線視頻、參與網(wǎng)絡游戲、利用即時通信工具進行與工作無關的聊天,以及禁止發(fā)布一些不文明的內(nèi)容等。
4 需要注意的問題
在實際應用中,技術的發(fā)展、建設投資的成本、法律法規(guī)的制定等諸多因素都會影響到業(yè)務識別在網(wǎng)絡流量管理中的應用。因此,對一些風險必須認真考慮。
4.1 技術風險
技術從來都不是完美的,都有自身較為適用的環(huán)境,都需要不斷的發(fā)展完善。因此,在實際使用中選擇何種業(yè)務識別技術,以及如何更好的跟上應用技術發(fā)展的腳步,是每一個網(wǎng)絡流量管理實施者所必須面對的問題。
此外,當前的業(yè)務識別的應用還處于單點應用的階段,如何更好地部署,如何構(gòu)建一個分布式的、端到端的具備業(yè)務識別能力的網(wǎng)絡流量管理體系也是每一個網(wǎng)絡流量管理實施者需要面對的問題。
業(yè)務識別的應用勢必會對網(wǎng)絡造成一定的沖擊,那么如何更好的保證網(wǎng)絡的穩(wěn)定性和業(yè)務的連續(xù)性也是必須考慮的問題。
4.2競爭風險
網(wǎng)絡流量管理的實施必將影響到用戶對網(wǎng)絡資源的使用,高優(yōu)先級的用戶能夠享受到較好的業(yè)務服務質(zhì)量,而對于普通用戶,業(yè)務流量的管理必將影響到用戶隨意使用網(wǎng)絡和業(yè)務資源的行為,這將會使得大多數(shù)普通用戶的認知度下降,投訴率上升,產(chǎn)生轉(zhuǎn)網(wǎng)等負面影響。因此,在具體應用中,需要認真考慮實施策略、實施粒度等問題,及時的把握用戶感受。
4.3政策風險
由于在網(wǎng)絡流量管理中應用業(yè)務識別時,需要對業(yè)務數(shù)據(jù)流量進行深度的報文解析和數(shù)據(jù)挖掘,可能會涉及到個人隱私,因此,網(wǎng)絡管理者在獲得網(wǎng)絡數(shù)據(jù)流特征信息的方式、用戶數(shù)據(jù)和用戶行為的挖掘深度,以及多維分析數(shù)據(jù)的合理利用方面都需要認真仔細的加以考慮,以盡可能的規(guī)避政策法規(guī)的風險。
由于技術的進步、管制政策的放松、市場競爭的加劇,以及互聯(lián)網(wǎng)在全球的“侵略性”發(fā)展,使得全球電信業(yè)正處于劇烈而痛苦的轉(zhuǎn)型之中。傳統(tǒng)的計算機技術(IT)正在快速與電信技術(CT)融合形成新的ICT技術;摩爾定律使得計算、存儲和傳輸資源的提供能力每l8個月就翻一番,導致信息通信成本的快速下降,正在顛覆傳統(tǒng)電信經(jīng)濟的理論體系,取而代之的是“長尾理論”等的興起。適應技術進步,全球多個國家已經(jīng)建立了融合的監(jiān)管制度的體制,傳統(tǒng)電信市場的壟斷正在被快速打破。市場競爭加劇,固網(wǎng)話音服務正在被移動話音服務所替代;“螳螂捕蟬,黃雀在后”,互聯(lián)網(wǎng)上的各種“免費”話音和即時通信等消息類服務又正在將固定和移動話音業(yè)務“一網(wǎng)打盡”。
互聯(lián)網(wǎng)已經(jīng)對全社會的各行各業(yè)產(chǎn)生了重要的影響,對傳統(tǒng)電信業(yè)的沖擊也是顯而易見的。以Skype等為代表的互聯(lián)網(wǎng)上的VoIP服務,正在快速蠶食傳統(tǒng)電信運營商賴以生存的固定和移動電話服務的市場份額。其次,互聯(lián)網(wǎng)端到端的體系架構(gòu)(E2E:End to End),讓傳統(tǒng)電信運營商提供的(寬帶)IP接入服務不再是一種高科技的服務,而是具有了典型的“日用消費品”的特點:大量資金投入、利潤相對較低和充分的市場競爭。第三,很多對等應用(Peer to Peer)的繁榮,進一步壓縮了電信運營商IP接入服務的利潤空間。最后,隨著寬帶無線接入的興起,運營商IP接入服務的自然壟斷屬性進一步被打破,開放網(wǎng)絡成為發(fā)展趨勢,運營商試圖依靠在接入和承載方面的資源優(yōu)勢,實現(xiàn)“圍墻花園(Walled Garden)”商業(yè)模型的運營方式受到了嚴峻挑戰(zhàn)。
全球電信業(yè)已經(jīng)深刻認識到:不是要不要轉(zhuǎn)型,而是如何轉(zhuǎn)型的問題了。ITU-T早在2001年就開始了NGN等方面的研究工作(軟交換的研究工作開展更早),運營商也做了很多這方面的技術性和商業(yè)性的試驗,但總的來說在技術、業(yè)務應用和商業(yè)創(chuàng)新方面幾乎停滯不前。與此同時,互聯(lián)網(wǎng)的技術、應用和商業(yè)創(chuàng)新日新月異,流量每6個月就增加一倍,速度是摩爾定律的3倍(吉爾德定律)。探討全球電信業(yè)轉(zhuǎn)型不理想的原因,會涉及到人員結(jié)構(gòu)、體制機制、既得利益、技術的成熟度、市場培育等多方面的因素,但深層次的原因何在?本文試圖主要從技術角度出發(fā),結(jié)合經(jīng)濟等因素,掛一漏萬,探討電信業(yè)轉(zhuǎn)型中在技術理念和思路方面可能存在的問題以及對策。