Mediamtx+Python读取webrtc流

一、功能思绪：

1. 1、我采用ffmpeg -re -stream_loop -1 -i xcc.mp4 -c:v libx264 -profile:v baseline -x264opts "bframes=0:repeat_headers=1" -b:v 1500k -preset fast -f flv rtmp://127.0.0.1:1835/stream/111推流到mediamtx的rtmp上
2. 2、通过mediamtx自带的转流，我将可以直接把推过来的流以webrtc方式访问http://127.0.0.1:8889/stream/111
3. 3、由于我确认http://127.0.0.1:8889/stream/111能够播放出视频，所以我现在想采用python的方式读取http://127.0.0.1:8889/stream/111/whep的流，来实现保存流的每帧图像

复制代码

涉及到的工具有：

• 开源视频流服务器—>mediamtx
  
• 本地推流rtmp工具—>ffmpeg+lal
  
• 编写代码读取webrtc流工具—>yCharm
  
  
  
  

二、代码编写实现：

1. import asyncio
2. import json
3. from aiortc import RTCPeerConnection, RTCSessionDescription, VideoStreamTrack
4. import aiohttp
5. import cv2
6. import numpy as np
8. class DummyVideoTrack(VideoStreamTrack):
9.     """创建一个虚拟的视频轨道，以防止 WebRTC 报错"""
10.     def __init__(self):
11.         super().__init__()
13.     async def recv(self):
14.         # 生成一个黑色帧，防止 WebRTC 报错
15.         width, height = 640, 480
16.         frame = np.zeros((height, width, 3), dtype=np.uint8)
17.         return frame
19. class VideoReceiver:
20.     def __init__(self):
21.         self.frame = None
23.     async def consume_track(self, track):
24.         while True:
25.             try:
26.                 frame = await track.recv()
27.                 img = frame.to_ndarray(format="bgr24")
28.                 cv2.imshow("Video", img)
29.                 cv2.waitKey(1)
30.             except Exception as e:
31.                 print("处理帧错误:", e)
32.                 break
34. async def send_ice_candidate(candidate, ice_url):
35.     async with aiohttp.ClientSession() as session:
36.         async with session.post(
37.             ice_url,
38.             data=json.dumps({"candidate": candidate}),
39.             headers={"Content-Type": "application/json"}
40.         ) as response:
41.             if response.status != 200:
42.                 print(f"发送 ICE candidate 错误: {response.status}")
44. async def run():
45.     pc = RTCPeerConnection()
46.     receiver = VideoReceiver()
48.     # 添加一个虚拟的视频轨道，防止 WebRTC 报错
49.     pc.addTrack(DummyVideoTrack())
52.     # 处理接收到的媒体轨道
53.     def on_track(track):
54.         print(f"接收到 {track.kind} 轨道")
55.         if track.kind == "video":
56.             asyncio.create_task(receiver.consume_track(track))
58.     pc.add_listener("track", on_track)
60.     # 监听 ICE 连接状态变化
61.     def on_ice_connection_state_change():
62.         print(f"ICE 连接状态: {pc.iceConnectionState}")
64.     pc.on("iceconnectionstatechange", on_ice_connection_state_change)
66.     # 监听 ICE Candidate
67.     def on_ice_candidate(candidate):
68.         if candidate:
69.             print(f"新 ICE candidate: {candidate}")
70.             asyncio.create_task(send_ice_candidate(candidate, ice_url))
72.     pc.on("icecandidate", on_ice_candidate)
74.     # 创建 SDP Offer
75.     offer = await pc.createOffer()
76.     await pc.setLocalDescription(offer)
78.     # 发送 Offer 到 WHEP 端点
79.     whep_url = "http://127.0.0.1:8889/stream/111/whep"
80.     headers = {"Content-Type": "application/sdp"}
82.     async with aiohttp.ClientSession() as session:
83.         async with session.post(
84.                 whep_url,
85.                 data=pc.localDescription.sdp,
86.                 headers=headers
87.         ) as response:
88.             if response.status != 201:
89.                 raise Exception(f"服务器返回错误: {response.status}")
91.             answer_sdp = await response.text()
92.             answer = RTCSessionDescription(sdp=answer_sdp, type="answer")
93.             await pc.setRemoteDescription(answer)
95.             if "Location" in response.headers:
96.                 ice_url = "http://127.0.0.1:8889" + response.headers["Location"]
97.                 print("ICE 协商 URL:", ice_url)
99.         try:
100.             while True:
101.                 await asyncio.sleep(1)
102.         except KeyboardInterrupt:
103.             pass
104.         finally:
105.             await pc.close()
107. if __name__ == "__main__":
108.     asyncio.run(run())

复制代码

三、效果展示：

• 浏览器可以直接播放webrtc的扩展地址，然后最上层就是代码cv2读取每帧表现出来的画面
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。