贝壳博客 - Part 4

说明

HLS是目前浏览器无插件直播兼容度最高的协议，但是存在延迟大的问题。
http-flv普遍可以达到秒级甚至毫秒级延迟，HLS在Apple官方推荐的参数是10秒一个切片，一个m3u8列表包含3个ts切片，这就是为什么大部分HLS协议延迟30秒的原因。

nms 支持自定义切片时长和列表长度，默认配置未开启HLS，因为开启后会产生文件IO, 若有这方面需求请手动开启。

开启方式

打开config.ini
删除hls_path前的注释

[hls]
; hls_path 切片临时存放路径, 必须填入有效且可写入的路径. 若不设置,则不会生成hls切片
hls_path = hls
; hls_time 切片时间, 单位秒, 默认2; 经过这段时间后,将在下一个关键帧上剪切片段. 并不代表肯定会以这个设定值而切片,还要根据关键帧间隔而定.
; 低切片可有效降低hls延迟, 但也需要推流端使用固定的低关键帧间隔编码, 如果不固定关键帧间隔,会造成视频卡顿
hls_time = 2 
; hls_list 最大播放条目, 默认3
hls_list = 3

[hls]

; hls_path 切片临时存放路径, 必须填入有效且可写入的路径. 若不设置,则不会生成hls切片

hls_path = hls

; hls_time 切片时间, 单位秒, 默认2; 经过这段时间后,将在下一个关键帧上剪切片段. 并不代表肯定会以这个设定值而切片,还要根据关键帧间隔而定.

; 低切片可有效降低hls延迟, 但也需要推流端使用固定的低关键帧间隔编码, 如果不固定关键帧间隔,会造成视频卡顿

hls_time = 2

; hls_list 最大播放条目, 默认3

hls_list = 3

延迟说明

hls_time = 2 
hls_list = 3

1 2	hls_time = 2 hls_list = 3

代表每2秒切片一个ts，m3u8列表中保持3个ts，这样算下来，延迟是6秒。

极限低延迟

hls_time = 1
hls_list = 2

1 2	hls_time = 1 hls_list = 2

代表每1秒切片一个ts，m3u8列表中保持2个ts，这样算下来，延迟是2秒。
这种低延迟的设置，有两个必要的前提：推流时，视频编码的关键帧间隔是1秒一个关键帧，网络延迟低于100毫秒且带宽足够。
可用做内网环境应用，需要自行评估是否能满足流畅度。

播放方式

nms v3版的HLS流同样遵循 /app/stream 资源定位规范，只需要添加.m3u8后缀。
如推流地址:

rtmp://server_ip/live/stream

1	rtmp://server_ip/live/stream

则hls地址为

http://server_ip:8000/live/stream.m3u8

1	http://server_ip:8000/live/stream.m3u8

会话型HLS

nginx-rtmp对HLS的实现模式,只是简单的在推流后只生成m3u8和ts文件，并提供http的静态文件服务。无法进行会话管理，无法统计hls播放量，无法获得播放和结束的事件。
nmsv3的HLS实现，采用了session会话管理，可以定位访问资源的用户id，ip，访问参数，可以使用内置鉴权规则，可以统计播放量，可以统计用户使用的流量，可以获得用户开始播放和结束播放的事件。

H265/HEVC 编码的 HLS流

nms支持H265/HEVC编码的视频输出HLS流，m3u8采用v7，视频采用fMP4切片。
注意，只有MacOS 10.13，iOS 11之后支持，所有chrome，firefox不支持。Windows下，ie11，edge12-18在硬件支持的情况下支持。部分手机内置浏览器支持（小米）。
具体分析请看：浏览器播放H265/HEVC视频的可行性分析

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之十、开启HLS功能

向流媒体服务器推流

NMS v3支持RTMP, HTTP-FLVT推流

使用ffmpeg读取本地文件，向nms推送RTMP流

INPUT_FILE.mp4 是h264+aac编码

ffmpeg -re -i INPUT_FILE.mp4 -c copy -f flv rtmp://server_ip/live/stream

1	ffmpeg -re -i INPUT_FILE.mp4 -c copy -f flv rtmp://server_ip/live/stream

INPUT_FILE.mp4 是h264+其他音频编码

ffmpeg -re -i INPUT_FILE.mp4 -c:v copy -c:a aac -f flv rtmp://server_ip/live/stream

1	ffmpeg -re -i INPUT_FILE.mp4 -c:v copy -c:a aac -f flv rtmp://server_ip/live/stream

INPUT_FILE.mp4 是其他音视频编码

ffmpeg -re -i INPUT_FILE.mp4 -c:v x264 -tune zerolatency -c:a aac -f flv rtmp://server_ip/live/stream

1	ffmpeg -re -i INPUT_FILE.mp4 -c:v x264 -tune zerolatency -c:a aac -f flv rtmp://server_ip/live/stream

使用ffmpeg读取本地文件，向nms推送HTTP-FLV流

INPUT_FILE.mp4 是h264+aac编码

ffmpeg -re -i INPUT_FILE.mp4 -c copy -f flv http://server_ip:8000/live/stream.flv

1	ffmpeg -re -i INPUT_FILE.mp4 -c copy -f flv http://server_ip:8000/live/stream.flv

使用ffmpeg读取RTSP流，向nms推送RTMP流

INPUT_RTSP 是h264+aac编码

ffmpeg -re -i rtsp://admin:admin@192.168.0.10/Streaming/Channels/101 -c copy -f flv rtmp://server_ip/live/stream

1	ffmpeg -re -i rtsp://admin:admin@192.168.0.10/Streaming/Channels/101 -c copy -f flv rtmp://server_ip/live/stream

使用ffmpeg读取本地H265视频，向nms推送RTMP流

Adobe官方定义RTMP,FLV是不支持H265的，需要使用打过补丁的ffmpeg, 若需要，请与客服联系。

从流媒体服务器播放视频

先确保流媒体服务器存在 /live/stream 流，若不清楚，请查看上一步推流操作

使用ffplay播放 rtmp流

ffplay rtmp://server_ip/live/stream

1	ffplay rtmp://server_ip/live/stream

使用ffplay播放 http-flv流

ffplay http://server_ip:8000/live/stream.flv

1	ffplay http://server_ip:8000/live/stream.flv

使用ffplay播放 hls流

ffplay http://server_ip:8000/live/stream.m3u8

1	ffplay http://server_ip:8000/live/stream.m3u8

使用NodePlayer.js 播放 ws-flv流

ws://server_ip:8000/live/stream.flv

1	ws://server_ip:8000/live/stream.flv

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之九、NMS基本使用

浏览器播放H265/HEVC视频的可行性分析

2019年12月9日 by aliang·3条评论

还记得我刚入行时，那时候3G还没普及，做视频只能做172×144，清晰点的320×240。取监控画面大多还是352×288，或者很高清的D1了。
在视频领域现如今，短短几年时间，网络带宽飞速提升，图像传感器的像素越来越大，人们对画质的追求也越来越高。1080只是起步，2K, 4K的应用也不在少数。

传统的H264算法在这时候捉襟见肘，更高级的编码规范应运而生。HEVC也就是H265，VP9，AV1，还有我国的视频标准AVS2就是它的继任者。谁能在这场较量中胜出呢。

高效率视频编码（High Efficiency Video Coding，简称HEVC），又称为H.265和MPEG-H第2部分，是一种视频压缩标准，被视为是ITU-T H.264/MPEG-4 AVC标准的继任者。

我接触到的业务很多和视频监控领域相关，近一两年来，越来越多的监控厂家新出厂的设备，默认采用H265视频编码了。当我们要部署这类视频应用时，客户端解码是个大问题。pc应用可以采用厂商提供的SDK，通用一点的办法是使用ffmpeg的HEVC解码器。而更多的企业应用更愿意部署在web平台，在浏览器中播放。

我们通过这个链接(1)可以查到，只有ie11，edge12-18具有硬件解码能力的才能支持。Apple系macOS在10.13 High Sierra，iOS在11以后可以原生支持。所有chrome系不支持。windows不提供软解解码h265的能力，只有显卡硬件支持才能支持，而且edge马上要更换到chrome平台了。毕竟H265授权费是很高的，像微软这种用户量级，那肯定是天价，干脆交给显卡厂商来处理。苹果本身是这个标准组织的成员，有大量这方面的专利，因此它很乐意推广这个标准。在WWDC17上，苹果就宣布HLS格式支持HEVC编码，(2) 需要使用fMP4进行切片。NMSv3.2开始，支持输出HEVC编码的HLS流。

那么要实现通用的跨平台，跨浏览器支持的解码器方案，现如今只有1个方法，WASM，NodePlayer.js便支持这种方式。我也曾在一款海康NVR上发现它的web控制器也采用了这种方式，数据通过websocket传输，但不是一种通用的标准。当然这种方式解码性能不足，面对高清画面解码时要求本地机器有很强的单核处理性能。海康便要求一次只能播放一个高清主码流。而NodePlayer.js v0.6版，采用webworker方式，将多路解码分散到多个进程中，提升了多路视频打开时的处理能力。并且传输协议也是目前最常见的http-flv，websocket-flv，支持包括nms，阿里云直播服务。也兼容阿里云H265 over http-flv。

后记：其实我们还是有很多其它选择，google系开放的VP9,和VP9的继任者AV1，至少在Apple系以外可以得到广泛的支持。国家的视频标准AVS2，目前很少有接触到软硬件的应用。后期我会在AV1和AVS2上做一些研究，风云变幻谁又能说的定呢。

2021-7-26日更新：NodeMediaServer 更新到v3.9.6, 支持http-fmp4直播流，HEVC获得原生媒体协议支持。ffplay，vlc等都无需打flv_id=12的补丁，即可播放。Chrome浏览器支持<video>标签直接打开，且windows系统下360浏览器可直接解码HEVC，无需安装任何插件。

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 浏览器播放H265/HEVC视频的可行性分析

NMS v3系列教程之八、relay规则鉴权模板

2019年12月5日 by aliang·0评论

模板说明

创建relay中继任务，实际上就是rtmp的play或publish操作。
当我们连接远端服务器时，对方可能开启了鉴权规则，那么我们的链接也必须要附带鉴权参数。
由于目前常用的鉴权方式是附带过期时间戳的，因此每次请求时都应该是不同的签名。
当然您也可以预生成一个过期时间特别久的比如1年以后过期。
使用nms的relay规则，可以在创建时填入签名参数的模板，在nms进行relay中继任务创建时根据模板生成新的签名参数。

模板例子

nms模板

{{$ts := gents 30}}{{$x := printf `/%s/%s-%d-%s` .App .Name $ts `authkey@2019`}}sign={{$ts}}-{{md5 $x}}

1	{{$ts := gents 30}}{{$x := printf `/%s/%s-%d-%s` .App .Name $ts `authkey@2019`}}sign={{$ts}}-{{md5 $x}}

讲解：
前面我们的鉴权算法中有说明到，生成签名前的字符串需要流信息+过期时间+密码后md5
上面的模板字符串可以分为3个部分

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之八、relay规则鉴权模板

NMS v3系列教程之七、从NVR\IPC拉取监控画面

2019年12月5日 by aliang·0评论

需求简介

目前使用监控摄像头可以做非常多的行业应用，我们的客户案例中，涵盖了幼儿园监控手机直播，远程课堂直播，重点监控单位中心监控与手机监控，抓娃娃机，宠物监控远程喂食，甚至还有远程投币祈福等等等等，没有做不到只有想不到。
而传统监控摄像头统一的协议标准是RTSP，而直播行业目前统一的标准是RTMP。要将两者结合起来最简单的方式，是通过ffmpeg命令输入rtsp，输出rtmp。将视频流分发到自建服务端或者直播云服务，再由各个客户端根据需求播放rtmp或在http-flv。
这种方式需要解决如下问题

rtsp流地址生成与通道管理，各个厂商之间的流地址格式是不同的
进程调用的维护，错误处理与断线重连问题
原生rtmp协议不支持监控行业日益流行的H265视频
部分云服务和web客户端不支持监控设备常见的G.711音频

解决方案

NMS内置了一个Relay中继模块，可以通过web后台简单添加rtsp拉取任务，无需编写配置文件，无需重启服务。
目前支持海康，大华，宇视直接配置参数创建拉取任务，后续会增加其他厂商的规则，如果您是监控厂商，想要在NMS中增加品牌RTSP规则，请直接与我们的商务服务联系。
也支持自定义模式手动输入rtsp地址和rtmp地址。
任务创建后，服务会立刻去执行，并且在web后台反馈状态信息。relay任务也会在输入或输出中一项断开后自动重连，并将relay任务写入本地数据库，在nms服务程序重启后继续执行，直到任务被删除。
relay模块支持H265编码推拉流，NMS也支持h265编码的RTMP协议

使用方法

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之七、从NVRIPC拉取监控画面

NMS v3系列教程之六、直播鉴权

2019年12月5日 by aliang·0评论

NMS内建支持简单且非常安全的，基于密码和过期时间的鉴权模式。
与阿里云的直播鉴权模式比较类似。

开启方法

打开config.ini

鉴权密码

auth_key = authkey@2019

1	auth_key = authkey@2019

播放鉴权开关

auth_play = 1

1	auth_play = 1

0-关闭，1-打开

推流鉴权开关

auth_push = 1

1	auth_push = 1

0-关闭，1-打开

使用方法

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之六、直播鉴权

NMS v3系列教程之五、事件通知

2019年12月5日 by aliang·0评论

功能简介

NMS支持在服务端收到流开始播放，结束播放，开始推流，结束推流时回调一个web服务接口。
可作为后台管理程序进行自定义鉴权，统计推流播放信息包括ip，开始结束时间，url参数，使用流量等。

开启方法

打开config.ini文件，取消notify_url前的注释，填上接收回调的web api地址。
如：

notify_url = http://192.168.0.8:8008/notify

1	notify_url = http://192.168.0.8:8008/notify

简单用例

我们使用nodejs创建一个简单的web api接口，并打印接收到的信息

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之五、事件通知

NMS v3系列教程之四、后台管理

2019年12月5日 by aliang·0评论

打开后台程序

程序运行后，可通过浏览器访问 http://server_ip:8000/ 访问nms管理后台

登陆

当配置文件项 auth_api 开启并且正确设置了auth_api_user和auth_api_pass，第一次打开管理后台页面时，需要进行登陆。

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之四、后台管理

NMS v3系列教程之三、基本使用

2019年12月5日 by aliang·0评论

nms直接运行后，可以看到控制台输出打印

2019/12/05 21:54:55 [I] NMS Version:3.1.12
2019/12/05 21:54:55 [I] Copyright:©2019 NodeMedia.
2019/12/05 21:54:55 [I] Website:www.nodemedia.cn
2019/12/05 21:54:55 [I] Author:Chen Mingliang [illuspas@msn.com]
2019/12/05 21:54:55 [I] Build Time:2019.12.03.163435
2019/12/05 21:54:55 [I] Commit Hash:311fd18bf4c1896b94260f4cad290e064951208d
2019/12/05 21:54:55 [D] RLIMIT_NOFILE 10240
2019/12/05 21:54:55 [I] Machine ID:[587dcbb5885f3ca14e87fde14e01c36da31eff15bf37f86df2c0402f0e06be27]
2019/12/05 21:54:55 [I] Free trial, exprition date:2020-06-01
2019/12/05 21:54:55 [I] Node Rtmp Server start on port 1935
2019/12/05 21:54:55 [I] Node Http Server start on port 8000
2019/12/05 21:54:55 [I] Node Https Server start on port 8443

2019/12/05 21:54:55 [I] NMS Version:3.1.12

2019/12/05 21:54:55 [I] Website:www.nodemedia.cn

2019/12/05 21:54:55 [I] Author:Chen Mingliang [illuspas@msn.com]

2019/12/05 21:54:55 [I] Build Time:2019.12.03.163435

2019/12/05 21:54:55 [I] Commit Hash:311fd18bf4c1896b94260f4cad290e064951208d

2019/12/05 21:54:55 [D] RLIMIT_NOFILE 10240

2019/12/05 21:54:55 [I] Machine ID:[587dcbb5885f3ca14e87fde14e01c36da31eff15bf37f86df2c0402f0e06be27]

2019/12/05 21:54:55 [I] Free trial, exprition date:2020-06-01

2019/12/05 21:54:55 [I] Node Rtmp Server start on port 1935

2019/12/05 21:54:55 [I] Node Http Server start on port 8000

2019/12/05 21:54:55 [I] Node Https Server start on port 8443

可以看到 rtmp服务绑定1935端口，http和https端口分别是8000和8443

1935作为rtmp的默认端口，可以在使用时不填写,比如

# ffmpeg 推流
ffmpeg -re -i INPUT.mp4 -c copy -f flv rtmp://server_ip/live/stream
# ffplay 播放
ffplay tmp://server_ip/live/stream

# ffmpeg 推流

ffmpeg -re -i INPUT.mp4 -c copy -f flv rtmp://server_ip/live/stream

# ffplay 播放

ffplay tmp://server_ip/live/stream

8000端口作为http-flv和websocket-flv端口，需要跟上端口号和.flv后缀

# ffplay 播放
ffplay http://server_ip:8000/live/stream.flv
# html5 websocket播放
ws://server_ip:8000/live/stream.flv

# ffplay 播放

ffplay http://server_ip:8000/live/stream.flv

# html5 websocket播放

ws://server_ip:8000/live/stream.flv

API接口和管理后台复用8000和8443端口，浏览器直接访问web后台

http://server_ip:8000/

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之三、基本使用

NMS v3系列教程之二、下载安装

2019年12月5日 by aliang·0评论

Windows版

https://nodemedia.oss-cn-hangzhou.aliyuncs.com/nms/3.1.15/nms-windows-amd64-20191211.zip

解压缩后双击运行nms.exe
双击service.bat 安装为服务并自动运行
在当前目录打开控制台输出 service.bat uninstall 停止并卸载服务

Linux x86_64 版

https://nodemedia.oss-cn-hangzhou.aliyuncs.com/nms/3.1.15/nms-linux-amd64-20191211.tar.gz

解压缩后进入目录，在控制台输入 ./nms 运行
在当前程序目录下执行 sudo ./service.sh install 安装服务并自动运行
在当前程序目录下执行 sudo ./service.sh uninstall 停止并卸载服务

Linux arm64 版

https://nodemedia.oss-cn-hangzhou.aliyuncs.com/nms/3.1.15/nms-linux-arm64-20191211.tar.gz

Mac版

https://nodemedia.oss-cn-hangzhou.aliyuncs.com/nms/3.1.15/nms-darwin-amd64-20191211.tar.gz

解压缩后进入目录，在控制台输入 ./nms 运行

Docker版

docker run -it —name nms -p 1935:1935 -p 8000:8000 -p 8443:8443 illuspas/nms

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: NMS v3系列教程之二、下载安装