一、 概述

基于傳統(tǒng)的SNMP網(wǎng)絡(luò)監(jiān)控系統(tǒng)專為傳統(tǒng)實現(xiàn)而設(shè)計，當(dāng)今高密度平臺的擴展性較差，而且可擴展性非常有限，而SNMP是基于查詢的模式，網(wǎng)管系統(tǒng)通過定期發(fā)送snmp 查詢消息，獲取網(wǎng)絡(luò)設(shè)備的接口統(tǒng)計、CPU使用率、內(nèi)線占用率等等；由于是定時查詢，一般情況下我們都是配置5分鐘，即300秒；而在網(wǎng)絡(luò)中會存在某一個時刻就會有突發(fā)數(shù)據(jù)，可是這突發(fā)流量仍然會造成網(wǎng)絡(luò)接口丟包。但在基于SNMP查詢時經(jīng)常又感知不到突發(fā)的存在，所有從SNMP獲取的數(shù)據(jù)看來流量是非常穩(wěn)定的，但是客戶抱怨網(wǎng)絡(luò)很差。

綜上所述，SNMP在現(xiàn)如今的網(wǎng)絡(luò)環(huán)境下，的確遇到了瓶頸。尤其是網(wǎng)絡(luò)規(guī)模日益擴大的今天，怎么辦？ 我們能不能換個角度，把傳統(tǒng)的從監(jiān)控系統(tǒng)到網(wǎng)絡(luò)設(shè)備”拉“數(shù)據(jù)的方法，變?yōu)榫W(wǎng)絡(luò)設(shè)備主動向監(jiān)控系統(tǒng)”推“數(shù)據(jù)的方法？

二、 Streaming Telemetry技術(shù)

流式遙測是(StreamTelemetry)一種用于網(wǎng)絡(luò)監(jiān)控的新方法，它就是實現(xiàn)了上述“推”數(shù)據(jù)的方法,網(wǎng)絡(luò)管理員可以通過訂閱的方式將特定數(shù)據(jù)項（標(biāo)準(zhǔn)化）從網(wǎng)絡(luò)設(shè)備發(fā)往數(shù)據(jù)收集器.

事實上Stream Telemetry并不是新發(fā)明，sFlow和NetFlow等早已實現(xiàn)了網(wǎng)絡(luò)流量的采樣和推送，下面介紹目前三種主流的流式遙測技術(shù)。

1.sFlow

行業(yè)標(biāo)準(zhǔn)sFlow是SNMP的流式遙測替代方案，在過去近20年中已經(jīng)被供應(yīng)商迅速采用。

sFlow是嵌入在交換機和路由器中的采樣技術(shù)，數(shù)據(jù)包采樣是基于硬件的，由交換ASIC執(zhí)行，實現(xiàn)線速性能，它使sFlow成為一種可擴展的技術(shù)，能夠以高達10 GBps的速度監(jiān)控鏈路，。完整的一套sFlow系統(tǒng)由sflow Sample、sFlow Agent和sFlow Collector組成。

sFlow Agent是一個軟件進程，作為設(shè)備中網(wǎng)絡(luò)管理軟件的一部分運行（參見圖2）。 它將端口上的計數(shù)統(tǒng)計和采樣得到的數(shù)據(jù)封裝為sFlow數(shù)據(jù)報通過網(wǎng)絡(luò)發(fā)送到sFlow收集器。 報文的采樣通常由交換/路由ASIC執(zhí)行，它能提供以線速的方式提供采樣，以此同時它還可以記錄相關(guān)聯(lián)的轉(zhuǎn)發(fā)/路由表條目的狀態(tài)。 sFlow Agent執(zhí)行的處理非常少。 它只是將數(shù)據(jù)打包到sFlow數(shù)據(jù)報中，這些數(shù)據(jù)報立即在網(wǎng)絡(luò)上發(fā)送。 立即轉(zhuǎn)發(fā)數(shù)據(jù)可最大限度地減少與sFlow Agent相關(guān)的內(nèi)存和CPU要求。

圖3顯示了sFlow系統(tǒng)的基本元素。整個網(wǎng)絡(luò)中的sFlow代理不斷向中央sFlow收集器發(fā)送sFlow數(shù)據(jù)報流，在中央sFlow收集器中對它們進行分析，以生成豐富，實時，網(wǎng)絡(luò)范圍的流量視圖。高速，路由和交換網(wǎng)絡(luò)的sFlow監(jiān)控具有以下特性：

（1）準(zhǔn)確 因為采樣非常簡單，可以在硬件中執(zhí)行，所以它以線速運行。此外，sFlow系統(tǒng)的設(shè)計使得可以確定任何測量的精度。其他交通流量測量技術(shù)在重負載下發(fā)生折疊，導(dǎo)致難以量化的錯誤。

（2）詳細的完整數(shù)據(jù)包標(biāo)頭和交換/路由信息允許詳細分析L2-L7流量。  

（3）可擴展 sFlow系統(tǒng)可以在其可監(jiān)控的網(wǎng)絡(luò)的大小和速度上進行擴展。 sFlow能夠監(jiān)控10Gbps，100Gbps及更高速率的網(wǎng)絡(luò)。單個sFlow Collector可以監(jiān)控數(shù)千個設(shè)備。

（4）低成本 sFlow Agent實現(xiàn)起來非常簡單，并且可以為交換機或路由器增加可忽略的成本。

（5）及時 sFlow Collector始終在整個網(wǎng)絡(luò)中擁有最新的流量視圖。如果需要交通數(shù)據(jù)來提供實時控制，及時的信息尤為重要。例如，管理服務(wù)質(zhì)量或抵御拒絕服務(wù)攻擊。

目前基于sFlow已成為行業(yè)的基本標(biāo)準(zhǔn)，其由RFC3176制訂規(guī)范，目前所有主流交換機廠商的設(shè)備基本上都支持sflow，由于sFlow是行業(yè)標(biāo)準(zhǔn)，故sFlow Collector和sFlow Analyzers可由專門的廠商提供；目前盛科的芯片已實現(xiàn)sFlow采樣技術(shù)，芯片可基于Port/Vlan/Flow將報文采樣送到CPU的sFlow Agent處理，然后組裝報文送到sFlow Collector。

2.NetFlow/NetStream/IpFix等

前述的sFlow是一種純數(shù)據(jù)包采樣技術(shù)，即每一個被采樣的X包的長度被記錄下來，而大部分的包則被丟棄，只留下樣本被傳送給采集器，所以它不可能獲得每臺主機流量100%的準(zhǔn)確值；而NetFlow（或NetStream、IpFix（NetFlow v9））不同，它用來跟蹤每個開啟NetFlow功能接口上的所有進入會話的技術(shù)。比如它根據(jù)7個關(guān)鍵標(biāo)準(zhǔn)分析數(shù)據(jù)包，如果兩個包在所有7個判斷標(biāo)準(zhǔn)上都匹配的話，就把它們歸類為相同的流量或會話。一旦會話結(jié)束或被匯總，就被傳送給采集器，所以如果NetFlow配置恰當(dāng)并且硬件沒有過載的話，這種技術(shù)可以以接近100%的準(zhǔn)確性來描述誰經(jīng)過設(shè)備進行通信。   

由于NetFlow產(chǎn)生的數(shù)據(jù)包數(shù)量會非常巨大，由于需要100%的會話流量進行處理同一會話做比較，記錄和緩存，所以在采集器的負擔(dān)非常的重，采集器可能會變得不堪重負，早期，無論NetFlow還是NetStream是一種軟件技術(shù)，報文的采樣、緩存和數(shù)據(jù)導(dǎo)出等都是在CPU中完成的，故只有在路由器設(shè)備才能看到有相應(yīng)的應(yīng)用。

近年來，由于交換技術(shù)的發(fā)展，特別是對網(wǎng)絡(luò)監(jiān)控越來越重視，交換芯片內(nèi)部開始集成NetFlow的采集器，以盛科芯片為例，盛科的IpFix技術(shù)在交換機內(nèi)部硬件完成Ipfix會話的學(xué)習(xí)、會話記錄、會話更新、觸發(fā)導(dǎo)出等功能，最大限度的降低CPU的負擔(dān)。

3.openConfig

OpenConfig是近年來由Google提出（谷歌推動的Stratum項目），希望提供一個中立于設(shè)備廠商的標(biāo)準(zhǔn) API等，有別于NetConfig是由網(wǎng)絡(luò)設(shè)備廠商推動的，內(nèi)耗太大，各個設(shè)備廠商都希望在軟件定義網(wǎng)絡(luò)的時代繼續(xù)保持硬件設(shè)備的重要性，并且能夠體現(xiàn)自己公司產(chǎn)品的差異化優(yōu)勢，所以一經(jīng)推出得到了各互聯(lián)網(wǎng)提供商的積極響應(yīng)，目前AT&T，British Telecom，F(xiàn)acebook，Apple，Microsoft 等互聯(lián)網(wǎng)服務(wù)提供商加入了 OpenConfig 工作組，目前國內(nèi)的騰訊、百度和阿里等互聯(lián)網(wǎng)服務(wù)提供商也已經(jīng)加入了 OpenConfig 工作組，網(wǎng)絡(luò)設(shè)備商Cisco、Juniper也在其設(shè)備中增加對OpenConfig的支持。

       OpenConfig也不是一個全新的技術(shù)，它 沿用了 Netconf 的協(xié)議框架，但是它不太關(guān)注底層的數(shù)據(jù)傳輸，而是更關(guān)注上層的數(shù)據(jù)表達和數(shù)據(jù)建模。這意味著：不管是 A 廠還是 B 廠，所有的數(shù)據(jù)都必須符合 OpenConfig YANG Model，并且 Key-Value 都必須是 OpenConfig 所規(guī)定的標(biāo)準(zhǔn)格式，基于YANG Model/gRPC的OpenConfig網(wǎng)絡(luò)管理系統(tǒng)包括的網(wǎng)絡(luò)配置管理和流式遙測(Streaming Telemetry)，流式遙測（Streaming Telemetry）作為是網(wǎng)絡(luò)監(jiān)控是其重要的組成部分，Telemetry技術(shù)的采樣數(shù)據(jù)源來自轉(zhuǎn)發(fā)面、控制面和管理面的數(shù)據(jù)源，數(shù)據(jù)按照YANG模型描述的結(jié)構(gòu)進行組織，利用GPB格式編碼，并通過GRPC協(xié)議將數(shù)據(jù)上送至采集器和分析器進行分析處理。

    目前OpenConfig官方定義了大量標(biāo)準(zhǔn)YANG模型，用于統(tǒng)一設(shè)備管理，期望一統(tǒng)天下，解決不同設(shè)備廠商間兼容的問題。

 而其中定義的Openonfig-telemetry.yang 是描述網(wǎng)絡(luò)設(shè)備telemetry的參數(shù)信息，包括：

（1）配置采樣傳感器組（sensor-group），包括傳感器路徑（sensor-path）和過濾條件，其sensor-path對應(yīng)于需要采樣的YANG Model所在的路徑;

（2）配置上送目的組（estination-group）包括配置上送目標(biāo)采集器的IP地址、端口號、上送目標(biāo)傳感器的協(xié)議和加密方式;

（3）配置訂閱（subscription）參數(shù)包含配置關(guān)聯(lián)采樣任務(wù)組、采樣周期，關(guān)聯(lián)上送目標(biāo)，觸發(fā)采樣、冗余抑制以及心跳間隔.

三、流式遙測優(yōu)勢

對比傳統(tǒng)SNMP/CLI，Telemetry 具有以下優(yōu)勢：

1.Telemetry 采用推模式推送數(shù)據(jù)，降低設(shè)備壓力

傳統(tǒng)SNMP/CLI“一問一答”拉模式采集數(shù)據(jù)；

Telemetry 采用“一次網(wǎng)管訂閱，多次響應(yīng)“推模式采集數(shù)據(jù)，由于設(shè)備以周期性推送的方式向采集器主動推送數(shù)據(jù)，而不是被動的等待采集器定時查詢，避免查詢請求在網(wǎng)絡(luò)傳輸中的延遲和大量查詢請求對網(wǎng)絡(luò)和設(shè)備帶來的壓力，提升監(jiān)控性能

2.實現(xiàn)更實時更精確的監(jiān)控,避免網(wǎng)絡(luò)延時導(dǎo)致數(shù)據(jù)不準(zhǔn)確;

在設(shè)備上線注冊的時候，SNMP模式下，設(shè)備就只能等待網(wǎng)管系統(tǒng)的定期輪循掃描；而Telemetry模式下，設(shè)備啟動后馬上上報注冊，讓監(jiān)控系統(tǒng)即刻發(fā)現(xiàn)自己，保證監(jiān)控系統(tǒng)的及時性和不間斷性；

在視頻出現(xiàn)卡頓時，傳統(tǒng)模式下可能需要查詢T1時刻CPU信息以滿足行為判斷；但由于網(wǎng)絡(luò)卡頓得到是是T1+3時刻的數(shù)據(jù)網(wǎng)絡(luò)出現(xiàn)失真；而在Telemetry 由于提前訂閱了CPU信息，網(wǎng)絡(luò)延時不影響，數(shù)據(jù)不會出現(xiàn)失真;

雖然傳統(tǒng)的監(jiān)控模式也可以通過SNMP TRAP或SysLog等方式主控上報數(shù)據(jù)，但定時上報的時間一般為分鐘級或秒級；而Telemetry可做到亞秒級或?qū)崟r；

3.Telemetry可以訂閱大量的監(jiān)控節(jié)點，彌補傳統(tǒng)網(wǎng)絡(luò)監(jiān)控方式的不同；

傳統(tǒng)方式需要查詢N臺設(shè)備，做N次查詢同時采集M種數(shù)據(jù)，則一臺網(wǎng)管設(shè)備需要N*N*M次查詢，并返回N*N*M次結(jié)果

而Telemetry 的設(shè)備都只需要提前訂閱，各種設(shè)備實時上報，無需人工操作；

4.數(shù)據(jù)結(jié)構(gòu)不同，傳統(tǒng)的SNMP采用MIB定義結(jié)構(gòu)；而Telemetry 采用YANG模型定義結(jié)構(gòu)；

四、廠商支持情況

1.Cisco

Cisco Model-driven Telemetry (MDT)技術(shù)就是來實現(xiàn)基于YANG Model的Telemetry,目前Cisco支持以下的YANGmodels來配置支持MDT：nopenconfig-telemetry.yang提供OpenConfig的配置；nCisco-IOS-XR-telemetry-model-driven-cfg.yang通過NETCONF配置MDT相關(guān)的配置nCisco-IOS-XR-telemetry-model-driven-oper.yang讀取關(guān)于MDT的信息.

2.SONIC

由微軟主導(dǎo)的SONIC系統(tǒng)的Telemetry參考OpenConfig的架構(gòu)定義，數(shù)據(jù)源主要為為兩部分：以CPU子系統(tǒng)相關(guān)的監(jiān)控數(shù)據(jù)由SONIC系統(tǒng)軟件采集，消息封裝和消息發(fā)布；以芯片相關(guān)的監(jiān)控數(shù)據(jù)由SAI軟件進行數(shù)據(jù)采集、消息封裝和發(fā)布，但就目前進展來看，消息發(fā)布的格式并沒有完全細化，還有待進一步的定義。

3. Stratum項目

由Google主導(dǎo)的Stratum項目完全拋棄了SNMP/CLI管理模式，采用全新的基于YangModel的OpenConfig模型，目前整個項目還處于開發(fā)階段，只有項目組成員可以訪問其代碼。

五、 總結(jié)

無論是sFlow、NetFlow、NetStream或者是IPFix都是實現(xiàn)了主動向采集器上送設(shè)備數(shù)據(jù)信息，實現(xiàn)了推模式（Push Mode），但他們推送的都是最原始的數(shù)據(jù)采樣信息，數(shù)據(jù)以IP報文格式呈現(xiàn)給分析工具，而非用戶期望的規(guī)范化數(shù)據(jù)模型，所以預(yù)計未來不久，基于Yang的OpenConfig的數(shù)據(jù)模型將成為新一代數(shù)據(jù)中心網(wǎng)絡(luò)運維管理系統(tǒng)的主流選擇，無論是芯片廠商還是設(shè)備廠商，數(shù)據(jù)信息采集后導(dǎo)出的方式采用標(biāo)準(zhǔn)化和規(guī)范化數(shù)據(jù)模型（如YANG Mode）勢在必行。