Android視頻監(jiān)控實現(xiàn)(一)
時間：2018-09-26 來源：未知
第一章 系統(tǒng)簡介
近年來，視頻監(jiān)控市場的發(fā)展已經(jīng)進入高速時期，與此同時，隨著各大運營商對基礎網(wǎng)絡建設的巨大投入，快速地推動了網(wǎng)絡攝像機在各個領域的快速發(fā)展應用。安卓在Google的推進以及本身的開放性作用下，已經(jīng)延生到生活的各個方面，從安卓智能手機、平板，到可穿戴的Android Ware、眼鏡、手表、再到Android汽車、智能家居、電視，甚至日本出的幾款機器人都是Android系統(tǒng)的，傳統(tǒng)監(jiān)控中的移動終端設備，例如：單兵設備、手持設備、車載終端設備，包括家庭監(jiān)控中用到的智能設備，都可以用Android系統(tǒng)替代了，不僅開發(fā)容易，而且易擴展，設備也更加智能了。在此思路下我們實現(xiàn)了Android手機的音視頻采集與上傳、流媒體服務器轉(zhuǎn)發(fā)、多平臺播放器播放的實時監(jiān)控系統(tǒng)。
1.1 視頻采集安卓端(spydroid)
Google Code上有一個開源項目：spydroid-ipcamera，spydroid能在Android手機中建立一個精簡的HTTP Server和RTSP Server，功能類似于一般的IpCamera，既能夠通過網(wǎng)頁訪問攝像機并修改監(jiān)控配置，還能通過http或者rtsp協(xié)議，獲取監(jiān)控的實時音視頻。具體原理是，通過android手機對mediaRecorder錄制視頻，把localsocket傳輸?shù)奖镜氐牧鹘?jīng)過硬編碼，添加RTP頭，分離NALU包，根據(jù)RTSP協(xié)議交互過程把數(shù)據(jù)發(fā)送到對方。而且從其代碼結(jié)構(gòu)中，spydroid已經(jīng)實現(xiàn)了RTSPServer、RTSPClient、RTP、RTCP、H264、AAC...等等功能，總之，音視頻采集與上傳需要的Utility都已經(jīng)具備了，我們將這些功能組合到一塊實現(xiàn)了直播需求。
1.2 流媒體服務器(Darwin Streaming Server)
Darwin Streaming Server簡稱DSS。DSS是Apple公司提供的開源實時流媒體播放服務器程序。整個程序使用C++編寫，在設計上遵循高性能，簡單，模塊化等程序設計原則，務求做到程序高效，可擴充性好。并且DSS是一個開放源代碼的，基于標準的流媒體服務器，可以運行在Windows NT和Windows 2000，以及幾個UNIX實現(xiàn)上，包括Mac OS X，Linux，F(xiàn)reeBSD，和Solaris操作系統(tǒng)上的。
1.2.1 主體框架
DSS的核心服務器部分是由一個父進程所fork出的一個子進程構(gòu)成，該父進程就構(gòu)成了整合流媒體服務器。父進程會等待子進程的退出，如果在運行的時候子進程產(chǎn)生了錯誤從而退出，那么父進程就會fork出一個新的子進程。可以看出，網(wǎng)絡客戶和服務器直接的對接是由核心服務器來完成的。網(wǎng)絡客戶RTSPoverRTP來發(fā)送或者接受請求。服務器就通過模塊來處理相應的請求并向客戶端發(fā)送數(shù)據(jù)包。
核心流媒體服務通過創(chuàng)建四種類型的線程來完成自己的工作，具體如下：
服務器自己擁有的主線程。當服務器需要關閉檢查，以及在關閉之前記錄相關狀態(tài)打印相關統(tǒng)計信息等任務處理時，一般都是通過這個線程來完成的。
空閑任務線程。這個任務線程是用來對一個周期任務隊列的管理，主要管理兩種任務，超時任務和Socket任務。
事件線程。套接口相關事件由事件線程負責監(jiān)聽，當有RTSP請求或者收到RTP數(shù)據(jù)包時，事件線程就會把這些實踐交給任務線程來處理。
任務線程。任務線程會把事件從事件線程中取出，并把處理請求傳遞到對應的服務器模塊進行處理，比如把數(shù)據(jù)包發(fā)送給客戶端的模塊，在默認情況下，核心服務器會為每個處理器核創(chuàng)建一個任務線程。
1.2.2 相關協(xié)議
如果要使用QuickTime流媒體服務器的編程接口，您應該熟悉該服務器實現(xiàn)的互聯(lián)網(wǎng)工程組織(Internet Engineering Task Force，簡稱IETF)協(xié)議，列舉如下：
實時流媒體協(xié)議(Real Time Streaming Protocol，簡稱RTSP)
實時傳輸協(xié)議(Real Time Transport Protocol，簡稱RTP)
實時傳輸控制協(xié)議(Real Time Transport Control Protocol，簡稱RTCP)
對話描述協(xié)議(Session Description Protocol，簡稱SDP)
1. 實時流媒體協(xié)議
當我們需要創(chuàng)建并且對一個或多個時間的同步且連續(xù)的音視頻的媒體數(shù)據(jù)流控制的時候，我們需要用到RTSP協(xié)議，也就是實時流協(xié)議。RTSP并不是通過連續(xù)的數(shù)據(jù)流來創(chuàng)建并控制媒體流數(shù)據(jù)的，所以不會產(chǎn)生媒體流與控制流的交叉。用另外一種說法就是，RTSP本身是對流媒體服務器的遠程控制。為了時間實時音視頻數(shù)據(jù)的受控(快進，暫停)以及按需分配流，這個協(xié)議為我們提供了可實現(xiàn)的框架。實時流控制協(xié)議可以用在對多個數(shù)據(jù)發(fā)送的會話，通過UDP或者TCP方式，以及基于RTP發(fā)送方式來實現(xiàn)。
2. 實時傳輸協(xié)議
RTP協(xié)議是互聯(lián)網(wǎng)上進行媒體數(shù)據(jù)的一種傳輸協(xié)議，為了實現(xiàn)一對一或者一對多的同步傳輸和提供時間信息，我們就會采用RTP協(xié)議。由于其典型應用建立在UDP傳輸之上，但也能在TCP或者ATM等其他協(xié)議上使用這個協(xié)議。實時傳輸協(xié)議本身只能對確保數(shù)據(jù)的實時性以及完整性，但并不對傳輸?shù)捻樞蛞约皞鬏斂煽啃蕴峁┍Ｕ稀Ｓ捎谑墙⒃赨DP協(xié)議之上，所以RTP協(xié)議本身并沒有提供流量控制或者阻塞控制，所以在一般情況下我們需要使用RTCP來進行這些幫助。由于DSS本身默認的傳輸協(xié)議就是RTP協(xié)議,而RTP協(xié)議需要通過RTCP協(xié)議進行流量控制,這樣很大程度上增加了機頂盒也就是解碼端的CPU處理壓力,因此本設計采用UDP協(xié)議直接對TS包進行發(fā)送,不使用RTP協(xié)議進行數(shù)據(jù)封裝,由于UDP協(xié)議也缺少流量控制機制,我們使用PCR值來對發(fā)送流量進行控制以防止接收端出現(xiàn)緩存溢出影響播放質(zhì)量。
3. 實時傳輸控制協(xié)議
實時傳輸控制協(xié)議的作用是管理傳輸?shù)馁|(zhì)量，也就是在進程間傳輸?shù)耐瑫r相互交換信息。在建立RTP會話的時候，參與傳輸?shù)碾p方周期性的傳輸RTCP包，這個數(shù)據(jù)包中包含了所有相關傳輸?shù)男畔ⅲ热鐢?shù)據(jù)包大小，丟失的數(shù)據(jù)包數(shù)量等等。因此通常我們利用RTCP來對傳輸流量或有效載荷進行動態(tài)調(diào)整，同時與RTP配合有效的控制傳輸速率，所以特別適合傳送實時數(shù)據(jù)。
4. 對話描述協(xié)議
對話描述協(xié)議(SDP)就是用來描述多媒體會話通告，多媒體會話邀請和其他形式的多媒體會話初始化的協(xié)議。SDP協(xié)議對流媒體描述的具體信息如下：會話名和會話目的，會話發(fā)起時間，會話中相關的網(wǎng)絡信息，會話發(fā)起者的相關信息，媒體類型，傳輸所使用的協(xié)議，流媒體編碼格式，傳輸時所使用的端口號，IP網(wǎng)絡地址。因此我們可以通過解析SDP協(xié)議來獲取我們所需要的一些必要的相關信息。
其中RTSP是非常重要的協(xié)議,因此后面會結(jié)合原代碼做一個詳細的分析,這個結(jié)果對設計模塊有著非常重要的影響,也可以說是本設計的關鍵。
1.2.3 模塊
流媒體服務器使用模塊來響應各種請求及完成任務。有三種類型的模塊：
1. 內(nèi)容管理模塊
媒體源相關的RTSP請求與響應，我們通過內(nèi)容管理模塊來管理，每個模塊都用來對客戶的需求進行解釋并做相應處理，例如讀取和解析模塊支持的文件，或者請求的網(wǎng)絡源信息，并通過RTP等方式響應。
內(nèi)容管理模塊有以下幾個：
QTSSFileModule，
QTSSReflectorModule，
QTSSRelayModule，
QTSSMP3StreamingModule。
2. 服務器支持模塊
服務器支持模塊執(zhí)行服務器數(shù)據(jù)的收集和記錄功能。
服務器模塊包括：
QTSSErrorLogModule，
QTSSAccessLogModule，
QTSSWebStatsModule，
QTSSWebDebugModule，
QTSSAdminModule，
QTSSPOSIXFileSystemModule。
3. 訪問控制模塊
訪問控制模塊提供鑒權(quán)和授權(quán)功能，以及操作URL路徑提供支持。
訪問控制模塊包括：
QTSSAccessModule，
QTSSHomeDirectoryModule，
QTSSHttpFileModule，
QTSSSpamDefenseModule。
1.2.4 工作流程
在DSS中的模塊分為動態(tài)模塊和靜態(tài)模塊，動態(tài)模塊在服務器啟動時會首先裝載動態(tài)模塊，之后才會裝載一部分靜態(tài)模塊。我們一般建議將我們自己書寫的功能模塊編譯為動態(tài)模塊來替換或擴展現(xiàn)有的服務器模塊，因為它會被優(yōu)先裝載。在QTSS的模塊中必須包含Register這個角色，這也是每個模塊所必須支持的角色。在模塊被裝載之后服務器會調(diào)用每個模塊的Register角色。在這個角色當中，模塊會調(diào)用QTSS_AddRole函數(shù)來記錄這個模塊所支持的其他角色。然后服務器就將初始化角色來調(diào)用每一個擁有這個角色的模塊。這個角色主要是做一些初始化的任務，比如說內(nèi)存的分配或者對數(shù)據(jù)結(jié)構(gòu)的初始化等等。在關閉服務器的時候，所有模塊的Shutdown角色將被調(diào)用，這個角色主要是為了結(jié)束工作后處理現(xiàn)場，比如釋放內(nèi)存等等。流媒體服務器主要就是通過這種角色來完成相應任務的。
1.3 視頻播放器(VLC)
VLC多媒體播放器(初命名為VideoLAN客戶端)是VideoLAN計劃的多媒體播放器。它支持眾多音頻與視頻解碼器及文件格式，并支持DVD影音光盤，VCD影音光盤及各類流式協(xié)議。它也能作為unicast或 multicast的流式服務器在IPv4或 IPv6的高速網(wǎng)絡連接下使用。它融合了FFmpeg計劃的解碼器與libdvdcss程序庫使其有播放多媒體文件及加密DVD影碟的功能。
優(yōu)秀的開源播放器可以播放MPEG-1、MPEG-2、MPEG-4、DivX、DVD/VCD、數(shù)字衛(wèi)星頻道、數(shù)字地球電視頻道(digital terrestial television channels)、在許多作業(yè)平臺底下透過寬頻 IPv4、IPv6網(wǎng)絡播放線上影片;此軟件開發(fā)項目是由法國學生所發(fā)起的，參與者來自于世界各地，設計了多平臺的支持，可以用于播放網(wǎng)絡串流及本機多媒體檔案之播放。
