非結構化海量網絡數據處理技術研究
摘要:為實現網絡化測試系統(tǒng)下非結構化海量網絡數據的快速分析處理,在關鍵的算法和系統(tǒng)化集成處理方面提出解決方法。采用內存映射文件方式快速讀取海量數據,并設計了時間矩陣算法,用以快速進行同步分析處理;應用分布式中間件方式實現海量數據的并發(fā)處理和數據分發(fā),對飛行試驗采集的網絡數據進行了分析處理,使用這些算法的數據處理軟件,可以使處理效率滿足飛行試驗海量網絡數據處理的需求。這些都為新一代機載采集系統(tǒng)應用于飛行試驗提供了技術保障。
關鍵詞:IENA;XNET/INET;PCAP;飛行試驗
飛行試驗數據處理是飛行試驗工程中非常重要的一個環(huán)節(jié),是對各類試飛數據信息進行細致、充分和全面的分析與處理,數據處理結果是飛行試驗鑒定結論的核心依據。隨著計算機網絡技術在飛行試驗測試領域的深入應用,網絡化測試技術逐漸成為飛行試驗測試技術發(fā)展的另一個核心。同時隨著現代飛機設計技術的發(fā)展,飛機系統(tǒng)越來越復雜,飛行試驗科目、測試參數、測試數據種類以及測試數據總量越來越多。對飛行試驗數據處理從質量、速度以及數據安全性、可靠性等方面提出了更高的要求。機載網絡化測試系統(tǒng)架構技術應用于最新的飛機測試系統(tǒng)上,該系統(tǒng)采集記錄的網絡數據記錄了飛機一個飛行試驗起落的各類測試數據信息,新一代飛機測試參數總量激增,數據總量達到上百個GB。為縮短單架次飛行試驗周期,如何高效快捷地對這些非結構化的海量網絡數據包進行同步分析處理,方便科研人員的應用,就成為必須解決的實際問題。
1 網絡化機載測試系統(tǒng)飛行試驗數據的特點
在網絡化機載測試系統(tǒng)Kam4000中,網絡數據包從采集器通過二級交換機到記錄器。第一級交換機可以有多個,二級交換機作為系統(tǒng)的時鐘接入點、遙測數據和記錄器的接入點、系統(tǒng)配置文件的加載點,結構如圖1所示。網絡數據包被記錄器完整的記錄下來,在此需要分析的是記錄器記錄的完整的網絡數據。該網絡數據是有一個個網絡數據包組成,每個網絡數據包的格式根據采集器的不同可以是不同的。
1.1 與Kam500采集系統(tǒng)的差別
現在大量應用于飛行試驗的Kam500機載測試系統(tǒng),采集記錄的飛行試驗數據格式為標準的PCM數據。PCM數據由重復出現的長幀組成,每個長幀的長度是固定的,每個長幀包含若干個短幀。網絡化機載測試系統(tǒng)Kam4000中,采集記錄的飛行試驗數據為網絡數據包格式。每個網絡數據包的大小都可以不同,并且每個網絡數據包中的參數個數也可以不同。
1.2 海量網絡數據包的格式
網絡化測試系統(tǒng)采用ARCA公司的最新采集器,采集記錄的數據格式根據采集器的不同可以是IENA,或XNET/INET網絡數據包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結構。而采用BCU140(XNET Ethernet Controller)支持XNET/INET的同時,也支持IEN-A。在網絡化測試系統(tǒng)中IENA和XNET/INET網絡數據包以EthernetⅡ協(xié)議廣播。根據記錄器的不同,記錄的網絡數據包結構可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式:
文件頭 數據包頭 數據包 數據包頭 數據包 …
IRIG106-10基本格式:
文件頭 特殊字頭 數據包 特殊字頭 數據包 …
根據飛行試驗的測試特性,參照以往的模擬量在飛行實驗中記錄數據的大小,如果參數量為5 000個,一定的飛行時間內記錄的飛行試驗數據為12 GB左右。隨著飛機系統(tǒng)的復雜性的增加,應用于飛行實驗的網絡化測試系統(tǒng)需測試的飛行試驗參數也越來越多,單架次的飛行試驗記錄的模擬量數據將是現在的4倍、5倍甚至更多。
評論