結(jié)構(gòu)化信息

連續(xù) 音頻流分類給出的音頻類型結(jié)構(gòu)化信息，是建立音頻 數(shù)據(jù)庫(kù)索引、實(shí)現(xiàn)底層結(jié)構(gòu)單元向高層語(yǔ)義結(jié)構(gòu)單元關(guān)聯(lián)的基礎(chǔ)。CBAR技術(shù)通常要分析 音頻流的結(jié)構(gòu)和語(yǔ)義，從不同類型的 音頻信號(hào)中提取高層語(yǔ)義信息,如對(duì)語(yǔ)音部分抽取關(guān)鍵詞,建立它們的結(jié)構(gòu)化的組織和索引，使“無(wú)序”的音頻流變得“有序”，以便于用戶的檢索和瀏覽。可見，如果不知道 音頻流的所包含的聲音類別和及其位置信息,高層語(yǔ)義的提取根本無(wú)從談起。

相關(guān)介紹

連續(xù) 音頻流分類技術(shù)可以作為視頻鏡頭自動(dòng)分割和分類的有效的輔助工具。由于受技術(shù)發(fā)展的限制,單獨(dú)依靠現(xiàn)有的圖像和 視頻處理技術(shù)還不能使計(jì)算機(jī)“理解”視頻的內(nèi)容,視頻鏡頭切分精確度也不高，不能對(duì)故事單元進(jìn)行基于內(nèi)容的分類。如果利用連續(xù) 音頻流分類技術(shù)將 視頻流所對(duì)應(yīng)的音頻進(jìn)行切分,利用較實(shí)用的 語(yǔ)音識(shí)別技術(shù)對(duì)其中的語(yǔ)音部分進(jìn)行語(yǔ)音識(shí)別，利用已經(jīng)比較成熟的 全文檢索技術(shù)對(duì)語(yǔ)音識(shí)別結(jié)果進(jìn)行處理,提取文本摘要，則可以較好地解決這些問(wèn)題。音視頻編輯領(lǐng)域的知識(shí)和一些基本規(guī)則告訴我們,如果 視頻流所對(duì)應(yīng)的 音頻類型沒有發(fā)生變化，其對(duì)應(yīng)的視頻可以不進(jìn)行分割處理。因此通過(guò)對(duì) 音頻流恰當(dāng)?shù)那蟹郑�可以大大提高視頻的分割效率和準(zhǔn)確率。

此外,連續(xù)流 音頻流分類技術(shù)還可以用在音頻內(nèi)容理解（Audio Content Understanding）、音頻監(jiān)測(cè)（Audio Surveillance）和音頻場(chǎng)景分析（Audio Scene Analysis）等領(lǐng)域。總之， 音頻數(shù)據(jù)自身的特點(diǎn)和現(xiàn)有技術(shù)的制約，使得對(duì)音頻流的進(jìn)一步處理受到了限制，而連續(xù)音頻流分類技術(shù)可以很好解決這一問(wèn)題，為音頻流結(jié)構(gòu)化和音頻信息深度分析和利用提供了堅(jiān)實(shí)的基礎(chǔ)。

分類技術(shù)

利用連續(xù) 音頻流分類技術(shù)可以為ASR提供單一的語(yǔ)音片段,是現(xiàn)有 語(yǔ)音識(shí)別系統(tǒng)走向?qū)嶋H應(yīng)用的先決條件之一。現(xiàn)有的連續(xù) 語(yǔ)音識(shí)別系統(tǒng)對(duì)輸入語(yǔ)音信號(hào)的要求近乎苛刻，一般不僅不能包含諸如音樂(lè)、環(huán)境音等其它種類的聲音，而且要有較高的信噪比。ASR則要求對(duì)現(xiàn)實(shí)生活中的 音頻流如廣播新聞,影視、會(huì)議、演講等錄音進(jìn)行自動(dòng)轉(zhuǎn)錄（Transcribe），生成包含語(yǔ)義內(nèi)容、位置和其它信息的“抄本”（Transcription）。我們知道,以上列舉出的這些 音頻流通常由語(yǔ)音和其它類型的聲音連接而成，如果不對(duì)其預(yù)先分段并去除非語(yǔ)音部分,必定會(huì)對(duì) 語(yǔ)音識(shí)別系統(tǒng)的性能產(chǎn)生嚴(yán)重的影響。

定義

流媒體就是指在網(wǎng)絡(luò)上使用 流式傳輸技術(shù)的連續(xù)時(shí)基媒體，是通過(guò) 網(wǎng)絡(luò)傳輸的 音頻、視頻或 多媒體文件。關(guān)鍵是 流式傳輸技術(shù)，流式傳輸主要指通過(guò)網(wǎng)絡(luò)傳送媒體(如視頻、 音頻)的技術(shù)總稱，其特定含義為通過(guò)網(wǎng)絡(luò)將影音節(jié)目傳送到PC單機(jī)。

實(shí)現(xiàn) 流式傳輸分兩種方法:實(shí)時(shí)流式傳輸方式(Realtime streaming)和順序流式傳輸方式(progressive streaming)。

常用格式

網(wǎng)絡(luò)上常見的流格式 音頻的格式主要有美國(guó)Realnetwork公司的*.RA格式和 微軟公司的*.WMA格式,另外還有一個(gè)多用于專業(yè)領(lǐng)域的美國(guó)蘋果公司*. MOV格式，在這三種格式中,MOV格式的音質(zhì)是最好的，特別是MIDI方面,支持GS和GM兩種音色，播放效果要明顯的強(qiáng)于Windows media player，下面就給大家詳細(xì)的介紹這幾種格式的特點(diǎn)：

RealAudio格式

這是 美國(guó)RealNetwork公司的一個(gè)元老級(jí)的產(chǎn)品，也是目前網(wǎng)上最流行的 流式媒體技術(shù)。許多Internet的音樂(lè)臺(tái)、 視頻點(diǎn)播站點(diǎn)都采用它。RealMedia其中包含RealAudio(聲音文件)、RealVideo(視頻文件)和RealFlash(矢量動(dòng)畫)這三類文件。

QuickTime 格式

QuickTime與RealMedia一樣，完合兼容于蘋果機(jī)與PC機(jī)。在同樣 網(wǎng)速和文件大小的情況下，它的音像品質(zhì)是最好的。它由三個(gè)不同部分所組成：QuickTime Movie(電影)文件格式，QuickTime媒體抽象層、QuickTime內(nèi)置媒體服務(wù)系統(tǒng)。

Windows Media Audio格式

WMA(Windows Media Audio)是來(lái)自于 微軟的重量級(jí)選手,它的前身是 微軟公司的Netshow，后臺(tái)強(qiáng)硬,也是為數(shù)眾多Windows使用者最為熟悉的，它的核心技術(shù)是ASF(Advanced Streaming Format,高級(jí)流格式)。ASF格式支持任意的壓縮/解壓縮編碼方式，并可以使用任何一種底層 網(wǎng)絡(luò)傳輸協(xié)議，具有很大的靈活性，比較MPEG之類的壓縮標(biāo)準(zhǔn)增加了控制命令腳本的功能，它以減少數(shù)據(jù)流量但保持文件質(zhì)量的方法來(lái)實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。

網(wǎng)絡(luò)上風(fēng)行的FLASH雖然是矢量動(dòng)畫技術(shù)，可是它一樣的可以包含聲音信息,也支持 流式傳輸，高品質(zhì)FLASH的SWF格式文件聲音更加出眾，而且文件體積更小，也有使用這種技術(shù)做的音樂(lè)網(wǎng)站,在欣賞的時(shí)候需要你安裝一個(gè)FLASH的 插件,以2013年的 網(wǎng)絡(luò)速度而言，區(qū)區(qū)幾百KB的FLASH插件一會(huì)兒的工夫就可以安裝完成,然后你就可以欣賞SWF格式的音樂(lè)了。

流媒體傳輸協(xié)議

在 瀏覽器中，我們常見的地址是以http://和ftp://開頭的。 Web服務(wù)器也可以通過(guò) http協(xié)議來(lái)處理流式媒體文件,然而Web服務(wù)器本身的設(shè)計(jì)并不能有效率地傳送 串流媒體檔案。

串流媒體必須占用一個(gè)不間斷地 封包串流,而且會(huì)長(zhǎng)時(shí)間地與服務(wù)器保持連線狀態(tài)，如果有太多訪客同時(shí)上線觀看,效能便會(huì)大打折扣。為了解決這個(gè)問(wèn)題，流格式媒體文件有它自己的一套協(xié)議。

1、即時(shí)串流通訊協(xié)議(Real Time Streaming Protocol，RTSP)：是RealNetworks公司協(xié)助建立的一個(gè)用來(lái)傳送 串流媒體的開放網(wǎng)頁(yè)標(biāo)準(zhǔn)。雖然它必須使用一種稱為RealServer的特殊服務(wù)器,然而RTSP能夠提升流式媒體影片的品質(zhì),改善傳送效率以及提供更佳的高流量處理功能。如果你的ISP具備了RealServer服務(wù),那么建議你使用RealServer而不要使用Web服務(wù)器來(lái)傳送 串流媒體檔案。

2、MMS(Media Server protocol,MMS):這是微軟定義的一種流格式 傳輸協(xié)議。

3、 實(shí)時(shí)傳輸協(xié)議(Theater Server protocol,RTP):這是用于Internet上針對(duì)多媒體 數(shù)據(jù)流的一種傳輸協(xié)議。RTP被定義為在一對(duì)一或一對(duì)多的傳輸情況下工作,其目的是提供時(shí)間信息和實(shí)現(xiàn)流同步，通俗的說(shuō)也就是網(wǎng)絡(luò)上的WEB服務(wù)器。

4、資源預(yù)訂協(xié)議(ResourceReserveProtocol,RSVP),由于 音頻和視頻 數(shù)據(jù)流比傳統(tǒng)數(shù)據(jù)對(duì)網(wǎng)絡(luò)的延時(shí)更敏感，要在網(wǎng)絡(luò)中傳輸高質(zhì)量的音頻、視頻信息，除 帶寬要求之外,還需其他更多的條件。RSVP是正在開發(fā)的Internet上的資源預(yù)訂協(xié)議，使用RSVP預(yù)留一部分網(wǎng)絡(luò)資源(即 帶寬)。

這些協(xié)議代替了http和ftp，而是像mms://61.139.25.41/quake，以MMS或RTSP等開頭。