加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 （https://www.lidatong.com.cn/）- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置： 首页 > 大数据 > 正文

视音频数据处理入门：UDP-RTP协议解析

发布时间：2020-12-14 02:00:55 所属栏目：大数据 来源：网络整理
导读：===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析

=====================================================

视音频数据处理入门系列文章：

视音频数据处理入门：RGB、YUV像素数据处理

视音频数据处理入门：PCM音频采样数据处理

视音频数据处理入门：H.264视频码流解析

视音频数据处理入门：AAC音频码流解析

视音频数据处理入门：FLV封装格式解析

视音频数据处理入门：UDP-RTP协议解析

=====================================================


本文介绍网络协议数据的处理程序。网络协议数据在视频播放器中的位置如下所示。


本文中的程序是一个UDP/RTP协议流媒体数据解析器。该程序可以分析UDP协议中的RTP 包头中的内容，以及RTP负载中MPEG-TS封装格式的信息。通过修改该程序可以实现不同的UDP/RTP协议数据处理功能。

原理

MPEG-TS封装格式数据打包为RTP/UDP协议然后发送出去的流程如下图所示。图中首先每7个MPEG-TS Packet打包为一个RTP，然后每个RTP再打包为一个UDP。其中打包RTP的方法就是在MPEG-TS数据前面加上RTP Header，而打包RTP的方法就是在RTP数据前面加上UDP Header。


有关MPEG-TS、RTP、UDP的知识不再详细介绍，可以参考相关的文档了解其中的细节信息。本文记录的程序是一个收取流媒体的程序，因此本文程序的流程和上述发送MPEG-TS的流程正好是相反的。该程序可以通过Socket编程收取UDP包，解析其中的RTP包的信息，然后再解析RTP包中MPEG-TS Packet的信息。
代码 整个程序位于simplest_udp_parser()函数中，如下所示。
[cpp]? view plain ?copy
?

在CODE上查看代码片

派生到我的代码片
  1. /**?
  2. ?*?最简单的视音频数据处理示例?
  3. ?*?Simplest?MediaData?Test?
  4. ?*?
  5. ?*?雷霄骅?Lei?Xiaohua?
  6. ?*?leixiaohua1020@126.com?
  7. ?*?中国传媒大学/数字电视技术?
  8. ?*?Communication?University?of?China?/?Digital?TV?Technology?
  9. ?*?http://blog.csdn.net/leixiaohua1020?
  10. ?*?本项目包含如下几种视音频测试示例：?
  11. ?*??(1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。?
  12. ?*??(2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。?
  13. ?*??(3)H.264码流分析程序。可以分离并解析NALU。?
  14. ?*??(4)AAC码流分析程序。可以分离并解析ADTS帧。?
  15. ?*??(5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。?
  16. ?*??(6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。?
  17. ?*?This?project?contains?following?samples?to?handling?multimedia?data:?
  18. ?*??(1)?Video?pixel?data?handling?program.?It?contains?several?examples?to?handle?RGB?and?YUV?data.?
  19. ?*??(2)?Audio?sample?data?handling?program.?It?contains?several?examples?to?handle?PCM?data.?
  20. ?*??(3)?H.264?stream?analysis?program.?It?can?parse?H.264?bitstream?and?analysis?NALU?of?stream.?
  21. ?*??(4)?AAC?stream?analysis?program.?It?can?parse?AAC?bitstream?and?analysis?ADTS?frame?of?stream.?
  22. ?*??(5)?FLV?format?analysis?program.?It?can?analysis?FLV?file?and?extract?MP3?audio?stream.?
  23. ?*??(6)?UDP-RTP?protocol?analysis?program.?It?can?analysis?UDP/RTP/MPEG-TS?Packet.?
  24. ?*/??
  25. #include?<stdio.h>??
  26. #include?<winsock2.h>??
  27. ??
  28. #pragma?comment(lib,?"ws2_32.lib")???
  29. #pragma?pack(1)??
  30. /*?
  31. ?*?[memo]?FFmpeg?stream?Command:?
  32. ?*?ffmpeg?-re?-i?sintel.ts?-f?mpegts?udp://127.0.0.1:8880?
  33. ?*?ffmpeg?-re?-i?sintel.ts?-f?rtp_mpegts?udp://127.0.0.1:8880?
  34. typedef?struct?RTP_FIXED_HEADER{??
  35. ????/*?byte?0?*/??
  36. ????unsigned?char?csrc_len:4;???????/*?expect?0?*/??
  37. ????unsigned?char?extension:1;??????/*?expect?1?*/??
  38. char?padding:1;????????char?version:2;????????/*?expect?2?*/??
  39. ????/*?byte?1?*/??
  40. char?payload:7;??
  41. char?marker:1;????????/*?expect?1?*/??
  42. /*?bytes?2,?3?*/??
  43. short?seq_no;??????????????
  44. /*?bytes?4-7?*/??
  45. ????unsigned??long?timestamp;??????????
  46. /*?bytes?8-11?*/??
  47. long?ssrc;????????????/*?stream?number?is?used?here.?*/??
  48. }?RTP_FIXED_HEADER;??
  49. ??
  50. struct?MPEGTS_FIXED_HEADER?{??
  51. ????unsigned?sync_byte:?8;???
  52. ????unsigned?transport_error_indicator:?1;???
  53. ????unsigned?payload_unit_start_indicator:?1;??
  54. ????unsigned?transport_priority:?1;???
  55. ????unsigned?PID:?13;??
  56. ????unsigned?scrambling_control:?2;??
  57. ????unsigned?adaptation_field_exist:?2;??
  58. ????unsigned?continuity_counter:?4;??
  59. }?MPEGTS_FIXED_HEADER;??
  60. int?simplest_udp_parser(int?port)??
  61. {??
  62. ????WSADATA?wsaData;??
  63. ????WORD?sockVersion?=?MAKEWORD(2,2);??
  64. ????int?cnt=0;??
  65. //FILE?*myout=fopen("output_log.txt","wb+");??
  66. FILE?*myout=stdout;??
  67. FILE?*fp1=fopen("output_dump.ts","wb+");??
  68. ????if(WSAStartup(sockVersion,?&wsaData)?!=?0){??
  69. ????????return?0;??
  70. ????}??
  71. ????SOCKET?serSocket?=?socket(AF_INET,?SOCK_DGRAM,?IPPROTO_UDP);???
  72. ????if(serSocket?==?INVALID_SOCKET){??
  73. ????????printf("socket?error?!");??
  74. ????sockaddr_in?serAddr;??
  75. ????serAddr.sin_family?=?AF_INET;??
  76. ????serAddr.sin_port?=?htons(port);??
  77. ????serAddr.sin_addr.S_un.S_addr?=?INADDR_ANY;??
  78. if(bind(serSocket,?(sockaddr?*)&serAddr,?sizeof(serAddr))?==?SOCKET_ERROR){??
  79. ????????printf("bind?error?!");??
  80. ????????closesocket(serSocket);??
  81. ????sockaddr_in?remoteAddr;??
  82. int?nAddrLen?=?sizeof(remoteAddr);???
  83. //How?to?parse???
  84. int?parse_rtp=1;??
  85. int?parse_mpegts=1;??
  86. ????printf("Listening?on?port?%dn",port);??
  87. char?recvData[10000];????
  88. while?(1){??
  89. ????????int?pktsize?=?recvfrom(serSocket,?recvData,?10000,?0,?(sockaddr?*)&remoteAddr,?&nAddrLen);??
  90. if?(pktsize?>?0){??
  91. ????????????//printf("Addr:%srn",inet_ntoa(remoteAddr.sin_addr));??
  92. ????????????//printf("packet?size:%drn",pktsize);??
  93. //Parse?RTP??
  94. //??
  95. ????????????if(parse_rtp!=0){??
  96. ????????????????char?payload_str[10]={0};??
  97. ????????????????RTP_FIXED_HEADER?rtp_header;??
  98. int?rtp_header_size=sizeof(RTP_FIXED_HEADER);??
  99. ????????????????//RTP?Header??
  100. ????????????????memcpy((void?*)&rtp_header,recvData,rtp_header_size);??
  101. ????????????????//RFC3351??
  102. ????????????????char?payload=rtp_header.payload;??
  103. ????????????????switch(payload){??
  104. ????????????????case?0:??
  105. case?1:??
  106. case?2:??
  107. case?3:??
  108. case?4:??
  109. case?5:??
  110. case?6:??
  111. case?7:??
  112. case?8:??
  113. case?9:??
  114. case?10:??
  115. case?11:??
  116. case?12:??
  117. case?13:??
  118. case?14:??
  119. case?15:??
  120. case?16:??
  121. case?17:??
  122. case?18:?sprintf(payload_str,"Audio");break;??
  123. case?31:?sprintf(payload_str,"H.261");break;??
  124. case?32:?sprintf(payload_str,"MPV");case?33:?sprintf(payload_str,"MP2T");case?34:?sprintf(payload_str,"H.263");case?96:?sprintf(payload_str,"H.264");default:sprintf(payload_str,"other"); ????????????????}??
  125. ????????????????unsigned?int?timestamp=ntohl(rtp_header.timestamp);??
  126. ????????????????unsigned?int?seq_no=ntohs(rtp_header.seq_no);??
  127. ????????????????fprintf(myout,"[RTP?Pkt]?%5d|?%5s|?%10u|?%5d|?%5d|n",cnt,payload_str,timestamp,seq_no,pktsize);??
  128. //RTP?Data??
  129. char?*rtp_data=recvData+rtp_header_size;??
  130. int?rtp_data_size=pktsize-rtp_header_size;??
  131. ????????????????fwrite(rtp_data,rtp_data_size,1,fp1);??
  132. //Parse?MPEGTS??
  133. if(parse_mpegts!=0&&payload==33){??
  134. ????????????????????MPEGTS_FIXED_HEADER?mpegts_header;??
  135. ????????????????????for(int?i=0;i<rtp_data_size;i=i+188){??
  136. ????????????????????????if(rtp_data[i]!=0x47)??
  137. ???????????????????????????? ????????????????????????//MPEGTS?Header??
  138. ????????????????????????//memcpy((void?*)&mpegts_header,rtp_data+i,sizeof(MPEGTS_FIXED_HEADER));??
  139. ????????????????????????fprintf(myout,"???[MPEGTS?Pkt]n");??
  140. ????????????????????}??
  141. ????????????}else{??
  142. "[UDP?Pkt]?%5d|?%5d|n",108); list-style:decimal-leading-zero outside; color:inherit; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ????????????????fwrite(recvData,pktsize,248)"> ????????????}??
  143. ????????????cnt++;??
  144. ????????}??
  145. ????closesocket(serSocket);???
  146. ????WSACleanup();??
  147. ????fclose(fp1);??
  148. }??

上文中的函数调用方法如下所示。
copy
? simplest_udp_parser(8880);??

结果

本程序输入为本机的一个端口号，输出为UDP/RTP/MPEG-TS的解析结果。程序开始运行后，可以使用推流软件向本机的udp://127.0.0.1:8880地址进行推流。例如可以使用VLC Media Player的“打开媒体”对话框中的“串流”功能（位于“播放”按钮旁边的小三角按钮的菜单中）。在该功能的对话框中添加一个“RTP / MPEG Transport Stream”的新目标。


也可以使用FFmpeg对本机的8880端口进行推流。下面的命令可以推流UDP封装的MPEG-TS。

[plain]? copy
?

派生到我的代码片
    ffmpeg?-re?-i?sintel.ts?-f?mpegts?udp://127.0.0.1:8880??

下面的命令可以推流首先经过RTP封装，然后经过UDP封装的MPEG-TS。

copy
? ffmpeg?-re?-i?sintel.ts?-f?rtp_mpegts?udp://127.0.0.1:8880??

推流之后，本文的程序会通过Socket接收到UDP包并且解析其中的数据。解析的结果如下图所示。



下载
Simplest mediadata test

项目主页
SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

开源中国： http://git.oschina.net/leixiaohua1020/simplest_mediadata_test
CSDN下载地址： http://download.csdn.net/detail/leixiaohua1020/9422409
本项目包含如下几种视音频数据解析示例：
?(1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
?(2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
?(3)H.264码流分析程序。可以分离并解析NALU。
?(4)AAC码流分析程序。可以分离并解析ADTS帧。
?(5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
?(6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
    相关内容
      推荐文章
        站长推荐
        热点阅读

          【免责声明】本站内容转载自互联网，其发布内容言论不代表本站观点，如果其链接、内容的侵犯您的权益，烦请提交相关链接至邮箱bqsm@foxmail.com我们将及时予以处理。

          建议您使用1920×1080分辨率、谷歌浏览器Google Chrome、Microsoft Edge以获得本站的最佳浏览效果

          Copygight © 2008-2022 https://www.lidatong.com.cn/ All Rights Reserved. 李大同