海康威视摄像机和录像机的监控与回放
海康威视摄像机和录像机的监控与回放1、海康威视监控设备简介
由于我们项目必要引入监控，所有作为一个小白特此研究一下，将本身的实操分享发给大家。
海康的监控设备主要是摄像机(IPC)搭配录像机NVR可以实现对监控的预览、回放、布放、告警等功能。
海康威视本身提供了非常多的方式可以进行查看监控和回放
1、好比iVMS-4200客户端、直接在欣赏器输入摄像机的ip、萤石云。
2、合作伙伴后台服务(付费的)：实现标准协议rtsp、hls、http-flv、rtmp取流
海康威视设备搜索：搜素局域网内在线的摄像机设备
海康威视官网工具包
由于我们必要集成到本身的系统中所以必要二次开辟后集成到本身的系统中 ，且不想出钱买海康的后台管理平台，所以本身实现。
1.1、摄像机二次开辟
主要流程是提供前端支持的协议进行播放，主要包罗前端解决方案和后端解决方案。
若只是播放，回放等功能可以使用海康提供的前端web demo和后端解决方案
1、前端web集成
2、后端集成方案
[*]2.1 标准协议对接（可实现预览，回放需本身存放数据）
[*]2.2 海康SDK对接（可调用sdk实现预览和调用录像机数据回放）
1.1.1：协议选择
**需求：**想要二次开辟在本身的系统欣赏器页面实现监控的播放必要集成播放插件。
**标题：**随着IE、Chrome、Edge等主流欣赏器对flash播放插件的制止更新，目前二次开辟时应该要摒弃rtmp协议，采用HLS、HTTP-FLV、WebRTC、WebSocket来传输直播视频流。（各种流媒体协议介绍参考第二章节）。欣赏器原生不支持rtsp协议取流。
总结如下：
RTSP：浏览器原生不支持rtsp协议取流，需通过下载安装rtsp协议的取流插件实现视频取流业务
HTTP-FLV：在播放首屏、播放延迟方面表现较好。但不支持IOS safari
HLS：将浏览器缓存视频分片后播放，流畅性很好但存在3-4s左右的延时，且录像回放功能对存储要求高
RTMP：Adobe公司2021年已不再更新和分发Flash，不推荐浏览器视频播放采用此协议
前端的Video控件标签支持HLS协议播放，经测试确实支持m3u8的播放。主要支持,几种视频格式m3u8，ogg, mp4, webm。MPEG4 = 带有 H.264 视频编码和 AAC 音频编码的 MPEG 4 文件
协议选择：欣赏器原生不支持rtsp协议取流，所以必要进行协议转换，好比选择HLS协议
1.2：web集成
海康开辟平台web集成文档
https://i-blog.csdnimg.cn/direct/7db311680cb047e0a4107cb8614bced3.png
方案中发起一个tab页只启动一个播放插件，暂没有尝试播放多个监控，待前端测试完成后增补该部分
1.2：标准协议对接
可以实现rtmp到flv、hls等协议转换
1.2.1：ffmpeg软件转流
1、安装ffmpeg： ffmpeg官网
2、使用命令转流
-hls_time 10 代表每个片断的时长10秒
-hls_list_size 决定保存的ts片断个数。0代表全部
ffmpeg -i "rtsp://用户名:密码@IP地址:554/Streaming/Channels/101" -c copy-hls_time 10 -hls_list_size 0 -hls_flags delete_segments+program_date_time -f hls G:\\yd\\word\\ip\\output.m3u8
3、播放该G:\yd\word\ip\output.m3u8流媒体文件即可。好比使用ffmpeg自带的播放器ffplay大概vlc播放器
ffplay G:\\yd\\word\\ip\\output.m3u8
https://i-blog.csdnimg.cn/direct/a1067252a142463fbb6dec5193392f01.jpeg
4、优化。生产上可能有多个监控，可以使用脚本实现批量转换
#!/bin/bash
# 定义摄像头列表
CAMERAS=(
"rtsp://admin:yd@2024@192.168.2.64:554/Streaming/Channels/101"
"rtsp://admin:yd@2024@192.168.2.65:554/Streaming/Channels/101"
# 添加更多摄像头
)
# 输出目录
OUTPUT_DIR="G:\\yd\\word\\ip"
# 保留片段数量
RETAIN_COUNT=36
# 定期清理旧片段
cleanup_old_segments() {
for i in "${!CAMERAS[@]}"; do
CAM_ID=$((i + 1))
M3U8_FILE="$OUTPUT_DIR/camera_$CAM_ID.m3u8"
# 获取M3U8文件中的所有TS文件
TS_FILES=$(grep -oP '#EXT-X-KEY:.*\n#EXTINF:+,\n(.*?)\n' $M3U8_FILE | cut -d'\n' -f3)
# 删除多余的TS文件
while [ $(echo "$TS_FILES" | wc -l) -gt $RETAIN_COUNT ]; do
OLDEST_TS=$(echo "$TS_FILES" | head -n1)
rm "$OUTPUT_DIR/$OLDEST_TS"
TS_FILES=$(echo "$TS_FILES" | tail -n +2)
done
# 更新M3U8文件
sed -i '/#EXT-X-ENDLIST/d' $M3U8_FILE
echo "#EXT-X-ENDLIST" >> $M3U8_FILE
done
}
# 启动FFmpeg进程
for i in "${!CAMERAS[@]}"; do
CAM_ID=$((i + 1))
OUTPUT_FILE="$OUTPUT_DIR/camera_$CAM_ID.m3u8"
# 启动FFmpeg进程
ffmpeg -i "${CAMERAS[$i]}" \
-c copy -map 0:v:0 -map 0:a:0 -hls_time 10 -hls_list_size 5 \
-hls_flags delete_segments+program_date_time \
-f hls "$OUTPUT_FILE" &
done
# 定期清理旧片段
cleanup_old_segments
# 设置定时任务
(crontab -l ; echo "*/5 * * * * /path/to/cleanup_old_segments.sh") | crontab -
1.2.2：开源监控软件shinobi
shinobi官网
1、安装：支持docker安装
docker run -d--name=shinobi1 --shm-size=2048m -p 8080:8080registry.gitlab.com/shinobi-systems/shinobi:latest
首次登录管理员：http://ip:8080/super#
后续登录普通账号：http://ip:8080/
2、添加摄像头。每个摄像头默认会天生一个唯一ID
3、查看监控，复制stream流地址。查看监控时若无法播放，确保涉摄像头设置中的视频编码格式是H.264，海康有些会是H.265导致无法查看黑屏
https://i-blog.csdnimg.cn/direct/c6e2e952d62044759be944f42097440a.png
利用shinobi可以播放rtsp流并可以将其转为m3u8的流。复制m3u8地址接口播放，下面是用vlc播放器播放的
https://i-blog.csdnimg.cn/direct/f699f9a758a14f3c82cb882690d4e81b.png
4、缺点：其stream流的地址会变化，有时会导致前面的stream流失效无法查看监控内容。目前个人没有总结出让其stream流固定稳定的方式，欢迎共享方案
1.2.3：使用nginx的RTMP模块
nginx默认不带RTMP模块的，必要下载和nginx源码一起自行编译。
1：windows下实现rtsp流转rtmp和http协议的flv流媒体，实现vue播放
[*]1、安裝nginx、ffmpeg
下载nginx：下载链接: http://nginx-win.ecsds.eu/download/nginx 1.7.11.3 Gryphon.zip，下载完成后解压， 将解压后的目次去除空格
[*]2、下载/nginx-rtmp-module流媒体转换module，此module非默认的，必要额外下载： 下载地址https://github.com/arut/nginx-rtmp-module/
[*]3、下载后解压放到nginx-1.7.11.3-Gryphon目次下，并将包名改为nginx-rtmp-module
修改配置文件
nginx-win.conf配置如下
worker_processes 1;
events {
worker_connections 1024;
}
rtmp {
server {
listen 1935;
chunk_size 4096;
application live {
live on;
hls on;
hls_path "G:/yd/word/nginx-1.7.11.3-Gryphon/hls";# 使用反斜杠或正斜杠
hls_fragment 5s;
}
}
}
http {
server {
listen 880;
server_name localhost;
location / {
root /usr/share/nginx/html;
index index.html index.htm;
}
location /hls/ {
types {
application/vnd.apple.mpegurl m3u8;
video/MP2T ts;
}
add_header Cache-Control no-cache;
alias "G:/yd/word/nginx-1.7.11.3-Gryphon/hls/";# 使用反斜杠或正斜杠
}
}
}
4、启动和制止nginx
启动nginx：nginx -c conf/nginx-win.conf
制止：taskkill /f /t /im nginx.exe
https://i-blog.csdnimg.cn/direct/ff9674dfba99446891245d73f79f2e92.png
4、安装ffmpeg实现推流到nginx
你可以使用FFmpeg或其他直播软件推送流到Nginx RTMP服务器：
ffmpeg -i "rtsp://admin:password@192.168.2.64:554/Streaming/Channels/101" -c copy -f flv rtmp://localhost:1935/live/test
https://i-blog.csdnimg.cn/direct/20a24a6ef13b4759a567a82aa292a179.png
5、获取flv流播放测试
在客户端，你可以使用VLC播放器或其他支持RTMP协议的播放器来观看直播：
vlc播放器测试
https://i-blog.csdnimg.cn/direct/61a6b8244d76450cb5579056a64c3c22.png
https://i-blog.csdnimg.cn/direct/41a59eea3a3241669a13cb220979a5d2.png
ffplay拉流播放测试：ffplay.exe rtmp://192.168.2.4:1935/live/test 说明推送到rtmp没标题
https://i-blog.csdnimg.cn/direct/07288afafb174360aa2f9f1a6921643b.jpeg
rtmp协议url： rtmp://192.168.2.4:1935/live/test
http协议url：http://localhost:880/hls/test.m3u8
总结：比shinobi有固定的url
1.3：海康SDK对接
海康硬件设备对接SDK
https://i-blog.csdnimg.cn/direct/3e6048dd57fd43ce8b249a5157f12496.png
区分了不同的操作系统，内里有不同代码语言的demo。
1.3.1：springboot集成SDK提供接口调用
@RestController
@RequestMapping("/countryside/alarms")
public class HKSdkController implements Runnable {
private final HCNetSDKServiceImpl hcNetSDKService = new HCNetSDKServiceImpl();
private volatile boolean running = true;
private Thread listenerThread;
@Override
public void run() {
while (running) {
// 监听并处理报警数据
Alarm.startAlarm();
}
}
//使用@PostConstruct注解实现程序启动就监听摄像头的告警信息
@PostConstruct
public void startAlarm() {
listenerThread = new Thread(this);
listenerThread.start();
}
@GetMapping(value = "/latest", produces = MediaType.APPLICATION_JSON_VALUE)
@Operation(summary = "获取最新报警信息")
@PermitAll
public List<AlarmData> getLatestAlarms() {
return AlarmDataHandler.getLatestAlarms();
}
private static final Map<String, Video> videoMap = new ConcurrentHashMap<>();
@GetMapping("/realPlay")
@PermitAll
public String realPlay(@RequestParam("userID") int userID,
@RequestParam("channelNo") int channelNo, @RequestParam("channelNo") int ipNo) {
if (!hcNetSDKService.initializeSDK()
) {
return "初始化失败";
}
String ip = getIpFromChannelNo(ipNo);
// 使用找到的IP地址进行连接
String key = ip + ":" + channelNo;
Video video = videoMap.get(key);
if (video == null) {
video = new Video(userID, channelNo, ip);
videoMap.put(key, video);
}
video.startPreview();
return "取流成功";
}
private String getIpFromChannelNo(int ipNo) {
// 这里应该是从数据库或配置文件中获取IP地址
// 示例：return "192.168.1." + channelNo;
return "192.168.2.64"; // 假设所有摄像头都在同一网段
}
@PostMapping("/stopAlarm")
@Operation(summary = "停止报警监听")
@PermitAll
public void stopAlarm() {
running = false;
if (listenerThread != null) {
listenerThread.interrupt();
}
}
}
下面是service进行了HCNETSDK的初始化，雷同于demo里client中的代码，其中的video是demo中的
public class HCNetSDKServiceImpl {
private static HCNetSDK hCNetSDK = null;
private static PlayCtrl playControl = null;
private static boolean isInitialized = false;
public boolean initializeSDK() {
if (!isInitialized) {
if (!createSDKInstance()) {
return false;
}
if (!createPlayInstance()) {
return false;
}
if (osSelect.isLinux()) {
loadComponentLibraries();
}
boolean initSuc = hCNetSDK.NET_DVR_Init();
if (!initSuc) {
return false;
}
setExceptionCallback();
setLogFile();
isInitialized = true;
}
return true;
}
public void cleanup() {
if (isInitialized && hCNetSDK != null) {
hCNetSDK.NET_DVR_Cleanup();
isInitialized = false;
}
}
public static HCNetSDK getHCNetSDK() {
return hCNetSDK;
}
private boolean createSDKInstance() {
if (hCNetSDK == null) {
synchronized (HCNetSDK.class) {
String strDllPath = "";
try {
if (osSelect.isWindows()) {
strDllPath = "G:\\yd\\code\\gitlab\\crc-digital-countryside-cloud\\crc-module-countryside\\crc-module-countryside-biz\\src\\main\\resources\\META-INF\\lib\\HCNetSDK.dll";
} else if (osSelect.isLinux()) {
strDllPath = System.getProperty("user.dir") + "/lib/libhcnetsdk.so";
}
hCNetSDK = (HCNetSDK) Native.loadLibrary(strDllPath, HCNetSDK.class);
} catch (Exception ex) {
System.out.println("loadLibrary: " + strDllPath + " Error: " + ex.getMessage());
return false;
}
}
}
return true;
}
private boolean createPlayInstance() {
if (playControl == null) {
synchronized (PlayCtrl.class) {
String strPlayPath = "";
try {
if (osSelect.isWindows()) {
strPlayPath = "G:\\yd\\code\\gitlab\\crc-digital-countryside-cloud\\crc-module-countryside\\crc-module-countryside-biz\\src\\main\\resources\\META-INF\\lib\\PlayCtrl.dll";
} else if (osSelect.isLinux()) {
strPlayPath = System.getProperty("user.dir") + "/lib/libPlayCtrl.so";
}
playControl = (PlayCtrl) Native.loadLibrary(strPlayPath, PlayCtrl.class);
} catch (Exception ex) {
System.out.println("loadLibrary: " + strPlayPath + " Error: " + ex.getMessage());
return false;
}
}
}
return true;
}
private void loadComponentLibraries() {
HCNetSDK.BYTE_ARRAY ptrByteArray1 = new HCNetSDK.BYTE_ARRAY(256);
HCNetSDK.BYTE_ARRAY ptrByteArray2 = new HCNetSDK.BYTE_ARRAY(256);
String strPath1 = System.getProperty("user.dir") + "/lib/libcrypto.so.1.1";
String strPath2 = System.getProperty("user.dir") + "/lib/libssl.so.1.1";
System.arraycopy(strPath1.getBytes(), 0, ptrByteArray1.byValue, 0, strPath1.length());
ptrByteArray1.write();
hCNetSDK.NET_DVR_SetSDKInitCfg(3, ptrByteArray1.getPointer());
System.arraycopy(strPath2.getBytes(), 0, ptrByteArray2.byValue, 0, strPath2.length());
ptrByteArray2.write();
hCNetSDK.NET_DVR_SetSDKInitCfg(4, ptrByteArray2.getPointer());
String strPathCom = System.getProperty("user.dir") + "/lib/";
HCNetSDK.NET_DVR_LOCAL_SDK_PATH struComPath = new HCNetSDK.NET_DVR_LOCAL_SDK_PATH();
System.arraycopy(strPathCom.getBytes(), 0, struComPath.sPath, 0, strPathCom.length());
struComPath.write();
hCNetSDK.NET_DVR_SetSDKInitCfg(2, struComPath.getPointer());
}
private void setExceptionCallback() {
FExceptionCallBack_Imp fExceptionCallBack = new FExceptionCallBack_Imp();
Pointer pUser = null;
if (!hCNetSDK.NET_DVR_SetExceptionCallBack_V30(0, 0, fExceptionCallBack, pUser)) {
System.out.println("设置异常消息回调失败");
} else {
System.out.println("设置异常消息回调成功");
}
}
private void setLogFile() {
hCNetSDK.NET_DVR_SetLogToFile(3, "./sdkLog", false);
}
static class FExceptionCallBack_Imp implements HCNetSDK.FExceptionCallBack {
public void invoke(int dwType, int lUserID, int lHandle, Pointer pUser) {
System.out.println("异常事件类型:" + dwType);
return;
}
}
}
video核心代码
private int userID;
private int channelNo;
private String ip;
private HCNetSDKServiceImpl hCNetSDKService= new HCNetSDKServiceImpl();
static FRealDataCallBack fRealDataCallBack;//预览回调函数实现
public void startPreview() {
if (userID == -1) {
System.out.println("请先注册");
return;
}
HCNetSDK hcNetSDK = hCNetSDKService.getHCNetSDK();
HCNetSDK.NET_DVR_DEVICEINFO_V30 m_strDeviceInfo = new HCNetSDK.NET_DVR_DEVICEINFO_V30();
int lUserID = hcNetSDK.NET_DVR_Login_V30(ip, (short) 8000, "admin", "yd@2024..", m_strDeviceInfo);
if ((lUserID == -1) || (lUserID == 0xFFFFFFFF)) {
System.out.println("登录失败，错误码为" + hCNetSDK.NET_DVR_GetLastError());
return;
}
HCNetSDK.NET_DVR_PREVIEWINFO strClientInfo = new HCNetSDK.NET_DVR_PREVIEWINFO();
strClientInfo.read();
strClientInfo.hPlayWnd = 0;// 窗口句柄，从回调取流不显示一般设置为空
strClientInfo.lChannel = channelNo;// 通道号
strClientInfo.dwStreamType = 0;// 0-主码流，1-子码流，2-三码流，3-虚拟码流，以此类推
strClientInfo.dwLinkMode = 0;// 连接方式：0- TCP方式
strClientInfo.bBlocked = 1;
strClientInfo.byProtoType = 0;
strClientInfo.write();
// 回调函数定义必须是全局的
if (fRealDataCallBack == null) {
fRealDataCallBack = new FRealDataCallBack();
}
// 开启预览
lPlay = hcNetSDK.NET_DVR_RealPlay_V40(userID, strClientInfo, fRealDataCallBack, null);
if (lPlay == -1) {
int iErr = hcNetSDK.NET_DVR_GetLastError();
System.out.println("取流失败: " + iErr);
return;
}
System.out.println("取流成功");
// 保存视频到文件 saveVideoToFile();
String path = ".\\savevideo.mp4";
Boolean bSaveVideo = hcNetSDK.NET_DVR_SaveRealData_V30(lPlay, 0x2, path);
if (bSaveVideo == false) {
int iErr = hcNetSDK.NET_DVR_GetLastError();
System.out.println("NET_DVR_SaveRealData_V30 failed" + iErr);
return;
}
System.out.println("NET_DVR_SaveRealData_V30 suss");
try {
Thread.sleep(10000);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
Boolean bStopSaveVideo = hcNetSDK.NET_DVR_StopSaveRealData(lPlay);
if (bStopSaveVideo == false) {
int iErr = hCNetSDK.NET_DVR_GetLastError();
System.out.println("NET_DVR_StopSaveRealData failed" + iErr);
return;
}
System.out.println("NET_DVR_StopSaveRealData suss");
if (lPlay >= 0) {
if (hCNetSDK.NET_DVR_StopRealPlay(lPlay)) {
System.out.println("停止预览成功");
return;
}
}
//sendVideoData(pBuffer, dwBufSize);
}
在这里插入代码片
2、各种流媒体协议介绍
常见的流媒体协议包罗RTSP、RTMP、HLS、FLV等，它们在不同的应用场景中提供了各自的优势和 特性。
2.1：流媒体协议介绍
https://i-blog.csdnimg.cn/direct/bc59c36066704c109306ab74fa83a131.png
2.1.1：RTSP (实时流传输协议)
RTSP（Real-Time Streaming Protocol）RTSP本身并不传送数据，而仅仅是是媒体播放器能控制多媒体流的传送，暂停播放，快进快退等。现实媒体数据的传输可以用RTP协议或其他专用协议。
RTSP以客户-服务器方式工作，它是一个应用层的多媒体播放控制协议。它和Http协议有些相似，但它不像Http，而是有状态的，而且可以在TCP和UDP上传输。
默认端口554。
https://i-blog.csdnimg.cn/direct/dcf42a886ca0456c82f3b3f4af962098.png
2.1.2：RTMP (实时消息协议)
RTMP（Real-Time Messaging Protocol）是Adobe开辟的用于实时视频和音频流传输的协议。它最初是为Flash Video应用设计的，但现已被广泛用于各种直播和点播服务，如YouTube、Twitch等
2.1.3：FLV（Flash Video）
格式是一种面向Flash平台的流媒体格式。它被广泛用于Adobe Flash Player的内容播放，尤其在早期的互联网视频应用中非常流行。
2.1.4：HLS (HTTP Live Streaming)
HLS（HTTP Live Streaming）是一种通过标准HTTP协议动态传输实时音视频流的技能。它将视频和音频分段并使用HTTP进行传输，使得在不同的网络环境下都能提供流畅、质量可适应的流媒体体验。
hls存储的是.ts格式的视频片断，可以使用http协议存储成m3u8格式的视频
https://i-blog.csdnimg.cn/direct/70449d8cc9cf498da8d18fc21707baa9.png
m3u8文件是动态更新的，内里存放了各种的.ts格式的视频片断。获取播放的视频流并不是直接播放.m3u8文件本身，而是通过.m3u8文件来索引和播放一系列的TS（Transport Stream）视频片断。.m3u8文件是一个文本文件，它包含了指向这些视频片断的链接列表，以及可能的其他元数据（如带宽信息）。HLS播放器（如Hls.js）会首先下载.m3u8文件，然后根据文件中的列表逐个下载TS片断，并将它们拼接起来播放
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-ALLOW-CACHE:YES
#EXTINF:10.000,
http://username:password@yourserver.com/path/to/segment0.ts
#EXTINF:10.000,
http://username:password@yourserver.com/path/to/segment1.ts
...
视频文件类型：.m3u8
2.2：流媒体协议选择与适用场景
在选择流媒体协议时，应考虑以下几个因素：
传输速度与稳定性：对于实时性要求高的场景，RTMP与RTSP可能更为符合。
平台支持：如果目的是跨平台应用，HLS因其基于HTTP的优势而更受欢迎。
压缩效率：FLV在Flash平台上的使用汗青中表现精彩，尤其在对压缩效率有较高要求的场景下。
版权掩护与防盗链：HLS提供较好的版权掩护机制，适合版权内容的分发。
流媒体协议的实现与设置
开辟工具：对于开辟者来说，使用如Python、Node.js、Java等通用编程语言搭配专门的流媒体框架（如FFmpeg、Nginx的RTMP模块）可以快速搭建流媒体服务。
https://i-blog.csdnimg.cn/direct/7f9ccd8281b040e4b8ee6eeb593e356f.png
其中的视频格式是支持的摄像机的视频编码格式，留意选择协议时进行摄像机的视频编码格式的设置
2.3：推流和拉流
https://i-blog.csdnimg.cn/direct/c5b604fd9d214bcab9309a13f86d83d7.png
2.3.1：推流
将直播的内容推送至服务器的过程，其实就是将现场的视频信号传到网络的过程。“推流”对网络要求比较高，如果网络不稳定，直播效果就会很差，观众观看直播时就会发生卡顿等现象，观看体验很是糟糕。要想用于推流还必须把音视频数据使用传输协议进行封装，变成流数据。常用的流传输协议有 RTSP、RTMP、HLS 等，使用 RTMP 传输的延时通常在 1–3 秒，对于手机直播这种实时性要求非常高的场景，RTMP 也成为手机直播中最常用的流传输协议。末了通过肯定的 QoS 算法将音视频流数据推送到网络端，并通过 CDN 进行分发。
2.3.2：拉流
拉流：指服务器已有直播内容，用指定地址进行拉取的过程。便是指服务器内里有流媒体视频文件，这些视频文件根据不同的网络协议类型（如 RTMP、RTSP、HTTP 等）被读取的过程，称之为拉流，我们日常观看视频和直播就是一个拉流的过程。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]