Microsoft公司的Windows Media的核心是ASF(Advanced Stream Format)。微軟將ASF 定義為同步媒體的統(tǒng)一容器文件格式。ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實現(xiàn)流 式多媒體內(nèi)容發(fā)布。

ASF最大優(yōu)點就是體積小，因此適合網(wǎng)絡(luò)傳輸，使用微軟公司的最新媒體播放器可以直接播放該格式的文件。用戶可以將圖形、聲音和動畫數(shù)據(jù)組合成一個ASF格式的文件，當(dāng)然也可以將其他格式的視頻和音頻轉(zhuǎn)換為ASF格 式，而且用戶還可以通過聲卡和視頻捕獲卡將諸如麥克風(fēng)、錄像機等等外設(shè)的數(shù)據(jù)保存為ASF格式

ASF具有可擴展的媒體類型，ASF文件允許制作者很容易地定義新的媒體類型。ASF格式提供了非常有效的靈活地定義符合ASF文件格式定義的新的媒體流類型。任一存儲的媒體流邏輯上都是獨立于其他媒體流的，除非在文件頭部分明顯地定義了其與另一媒體流的關(guān)系。

ASF是設(shè)計用來表示可伸縮的媒體類型的帶寬之間的依賴關(guān)系。ASF存儲各個帶寬就像一個單獨的媒體流。媒體流之間的依賴關(guān)系存儲在文件頭部分，為客戶機以一個獨立于壓縮的方式解釋可伸縮的選項提供了豐富的信息流的優(yōu)先級，現(xiàn)代的多媒體傳輸系統(tǒng)能夠動態(tài)地調(diào)整以適應(yīng)網(wǎng)絡(luò)資源緊張的情況如帶寬不足。多媒體內(nèi)容的制作者要能夠根據(jù)流的優(yōu)先級表達他們的參考信息，如最低保證音頻流的傳輸。隨著可伸縮媒體類型的出現(xiàn)，流的優(yōu)先級的安排變得復(fù)雜起來，因為在制作的時候很難決定各媒體流的順序。

ASF設(shè)計為支持多語言。媒體流能夠可選地指示所含媒體的語言。這個功能常用于音頻和文本流。一個多語言ASF文件指的是包含不同語言版本的同一內(nèi)容的一系列媒體流，其允許客戶機在播放的過程中選擇最合適的版本。

ASF提供可繼續(xù)擴展的目錄信息的功能，該功能的擴展性和靈活性都非常好。所有的目錄信息都以無格式編碼的形式存儲在文件頭部分，并且支持多語言，如果需要，目錄信息既可預(yù)先定義如作者和標(biāo)題，也可以是制作者自定義。目錄信息功能既可以用于整個文件也可以用于單個媒體流。

ASF文件主要有三種數(shù)據(jù)對象組成Header Object，Data Object，Index Object。Header Object包括ASF文件的主要信息，必須位于文件首部。Data Object包含數(shù)據(jù)信息，緊跟在Header Object之后，Index Object是非必須，提供跳躍索引，位于文件結(jié)尾。RTSP協(xié)議中，ASF的Header Object用Base64編碼加密以后放在SDP(Session Description Protocol)數(shù)據(jù)包中。

在系統(tǒng)中，我們采用了移植在eBox-4300上的WinCE作為系統(tǒng)的嵌入式操作系統(tǒng)，為了解碼器的工作效率和移植方便，我們采用ASF流媒體文件格式。根據(jù)搭建的基于RTSP協(xié)議的流媒體服務(wù)器，可以校驗在網(wǎng)絡(luò)中截取到數(shù)據(jù)包的特定協(xié)議字段，如果應(yīng)用層協(xié)議有RTSP的協(xié)議字段，就將數(shù)據(jù)包取出，按協(xié)議進行對包的卸載，提取出ASF文件，再將ASF文件按序列傳輸?shù)较乱惶幚韱卧M行視頻解碼，并提取出關(guān)鍵幀。

2.網(wǎng)絡(luò)視頻關(guān)鍵幀提取

視頻數(shù)據(jù)是分層結(jié)構(gòu)，結(jié)構(gòu)粒度從上到下逐漸減小。最頂層是粒度最大的視頻，即一段視頻流。最底層是粒度最小的幀，即單個的視頻幀圖像，對幀圖像的處理可以采用圖像特征提取技術(shù)，提取諸如顏色、紋理、形狀等靜態(tài)特征或空間運動的動態(tài)特征。鏡頭是一組時間上連續(xù)的幀序列，它代表一個場景中在時間上和空間上連續(xù)的動作，對應(yīng)著攝像機的一次記錄起停操作，也稱為剪裁或拍攝。鏡頭是視頻數(shù)據(jù)的最小單元，視頻檢索的結(jié)果就是獲得符合條件的若干鏡頭。場景是一組語義上相關(guān)聯(lián)及在時間上相鄰的鏡頭的集合。

圖3 視頻層次結(jié)構(gòu)示意圖

關(guān)鍵幀是反映一組鏡頭中主要信息內(nèi)容的一幀或若干幀圖像，可以簡潔地表達鏡頭內(nèi)容。因為每個鏡頭都是在同一場景下拍攝的，同一個鏡頭中的各幀圖像有相當(dāng)大的重復(fù)信息?？紤]到存儲容量和處理效率的因素，僅需要存儲鏡頭關(guān)鍵幀，可達到降低系統(tǒng)存儲容量和減少處理器冗余工作的效果。其次，從關(guān)鍵幀的匹配效率考慮，用關(guān)鍵幀來代表鏡頭，作用類似于入侵檢測系統(tǒng)中的匹配規(guī)則，這樣對網(wǎng)絡(luò)視頻流可用圖像匹配技術(shù)進行處理。

針對關(guān)鍵幀的特點，選取時有兩個基本要求:第一，所選幀必須能夠反映鏡頭中的主要事件，描述應(yīng)盡可能準確完全，所以一般采用保守原則，寧可錯選，也不能少提取;第二，為了減少系統(tǒng)存儲設(shè)備，提高處理數(shù)據(jù)包的效率，數(shù)據(jù)處理量應(yīng)盡量小，計算不宜過于復(fù)雜，因此關(guān)鍵幀的抽取應(yīng)盡量少而精確。

早期的提取關(guān)鍵幀的嘗試主要是采用顏色特征。一個簡單的提取關(guān)鍵幀的想法是選擇鏡頭片段的第一幀作為關(guān)鍵幀。當(dāng)然這樣提取的關(guān)鍵幀是很不準確的。在基于鏡頭的方法中，比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個位置上像素值的平均值，然后將鏡頭中該點位置的像素值最接近平均值的幀作為關(guān)鍵幀。直方圖平均法則是將鏡頭中所有幀的統(tǒng)計直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。這些方法的優(yōu)點是計算比較簡單，所選取的幀具有平均代表意義。缺點是只從一個鏡頭中選取一個關(guān)鍵幀，無法處理運動強度較高的鏡頭。一般說來，從鏡頭中選取一幀或固定數(shù)目的關(guān)鍵幀的方法并不是很好，因為當(dāng)處理變化很少的鏡頭時，這樣選取的關(guān)鍵幀過多，而對于運動較多的鏡頭，用一兩個關(guān)鍵幀又無法充分描述其內(nèi)容。所以有人提出了基于內(nèi)容分析的方法。

綜合前人的研究成果，我們在本系統(tǒng)采用漸變控制的方法。首先選取每個鏡頭的第一幀作為關(guān)鍵幀，同時作為其他候選關(guān)鍵幀的參考幀，將后續(xù)每幀和參考幀比較，當(dāng)其差別大于預(yù)定的閥值時，即將當(dāng)前幀作為新的關(guān)鍵幀，同時將此幀作為新的參考幀。

3. 視頻關(guān)鍵幀匹配

常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征等。

顏色特征是一種全局特征,描述了圖像或圖像區(qū)域所對應(yīng)的景物的表面性質(zhì)。一般顏色特征是基于像素點的特征，此時所有屬于圖像或圖像區(qū)域的像素都有各自的貢獻。由于顏色對圖像或圖像區(qū)域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。