srs-bench

SB(SRS Bench) is a set of benchmark and regression test tools, for SRS and other media servers, supports HTTP-FLV, RTMP, HLS, WebRTC and GB28181.

For RTMP/HLS/FLV benchmark, please use branch master.

Usage

下载代码和编译：

git clone -b feature/rtc https://github.com/ossrs/srs-bench.git && 
cd srs-bench && make

Note: 依赖Go编译工具，建议使用 Go 1.17 及以上的版本。

编译会生成下面的工具：

./objs/srs_bench 压测，模拟大量客户端的负载测试，支持SRS、GB28181和Janus三种场景。
./objs/srs_test 回归测试(SRS)，SRS服务器的回归测试。
./objs/srs_gb28181_test 回归测试(GB28181)，GB服务器的回归测试。
./objs/srs_blackbox_test 黑盒测试(SRS)，SRS服务器的黑盒测试，也可以换成其他媒体服务器。

Note: 查看工具的全部参数请执行./objs/xx -h

有些场景，若需要编译和启动SRS:

git clone https://github.com/ossrs/srs.git &&
cd srs/trunk && ./configure --h265=on --gb28181=on && make &&
./objs/srs -c conf/console.conf

Note: Use valgrind to check memory leak, please use valgrind --leak-check=full ./objs/srs -c conf/console.conf >/dev/null to start SRS.

具体场景，请按下面的操作启动测试。

Player for WHEP

直播播放压测，一个流，很多个播放。

首先，推流到SRS：

ffmpeg -re -i doc/source.200kbps.768x320.flv -c copy -f flv -y rtmp://localhost/live/livestream

然后，启动压测，比如100个：

./objs/srs_bench -sr webrtc://localhost/live/livestream -nn 100

Publisher for WHIP

直播或会议场景推流压测，一般会推多个流。

首先，推流依赖于录制的文件，请参考DVR。

然后，启动推流压测，比如100个流：

./objs/srs_bench -pr webrtc://localhost/live/livestream_%d -sn 100 -sa a.ogg -sv v.h264 -fps 25

注意：帧率是原始视频的帧率，由于264中没有这个信息所以需要传递。

Multiple WHIP or WHEP for RTC

会议场景的播放压测，会多个客户端播放多个流，比如3人会议，那么就有3个推流，每个流有2个播放。

首先，启动推流压测，比如3个流：

./objs/srs_bench -pr webrtc://localhost/live/livestream_%d -sn 3 -sa a.ogg -sv v.h264 -fps 25

然后，每个流都启动播放压测，比如每个流2个播放：

./objs/srs_bench -sr webrtc://localhost/live/livestream_%d -sn 3 -nn 2

备注：压测都是基于流，可以任意设计推流和播放的流路数，实现不同的场景。

备注：URL的变量格式参考Go的fmt.Sprintf，比如可以用webrtc://localhost/live/livestream_%03d。

DVR for RTC Benchmark

录制场景，主要是把内容录制下来后，可分析，也可以用于推流。

首先，推流到SRS，参考live。

ffmpeg -re -i doc/source.200kbps.768x320.flv -c copy -f flv -y rtmp://localhost/live/livestream

然后，启动录制：

./objs/srs_bench -sr webrtc://localhost/live/livestream -da a.ogg -dv v.h264

备注：录制下来的a.ogg和v.h264可以用做推流。

RTC Plaintext

压测RTC明文播放：

首先，推流到SRS：

ffmpeg -re -i doc/source.200kbps.768x320.flv -c copy -f flv -y rtmp://localhost/live/livestream

然后，启动压测，指定是明文（非加密），比如100个：

./objs/srs_bench -sr webrtc://localhost/live/livestream?encrypt=false -nn 100

Note: 可以传递更多参数，详细参考SRS支持的参数。

Reconnecting Load Test

建立连接和断开重连的压测，可以测试SRS在多个Source时是否有内存泄露问题，参考 #3667

RTMP重连测试：

for ((i=0;;i++)); do
  ./objs/srs_bench -sfu=live -pr=rtmp://localhost/live${i}/stream -sn=1000 -cap=true; 
  sleep 10; 
done

SRT重连测试：

for ((i=0;;i++)); do
  ./objs/srs_bench -sfu=live -pr='srt://127.0.0.1:10080?streamid=#!::'m=publish,r=live${i}/stream -sn=1000 -cap=true;
  sleep 10; 
done

WebRTC重连测试：

for ((i=0;;i++)); do
  ./objs/srs_bench -sfu=rtc -pr=webrtc://localhost/live${i}/livestream -sn=1000 -cap=true;
  sleep 10; 
done

Regression Test

回归测试需要先启动SRS，支持WebRTC推拉流：

./objs/srs -c conf/rtc.conf

然后运行回归测试用例，如果只跑一次，可以直接运行：

go test ./srs -mod=vendor -v -count=1

也可以用make编译出重复使用的二进制：

make && ./objs/srs_test -test.v

Note: 注意由于pion不支持DTLS 1.0，所以SFU必须要支持DTLS 1.2才行。

运行结果如下：

$ make && ./objs/srs_test -test.v
=== RUN   TestRTCServerVersion
--- PASS: TestRTCServerVersion (0.00s)
=== RUN   TestRTCServerPublishPlay
--- PASS: TestRTCServerPublishPlay (1.28s)
PASS

可以给回归测试传参数，这样可以测试不同的序列，比如：

go test ./srs -mod=vendor -v -count=1 -srs-server=127.0.0.1
# Or
make && ./objs/srs_test -test.v -srs-server=127.0.0.1

可以只运行某个用例，并打印详细日志，比如：

make && ./objs/srs_test -test.v -srs-log -test.run TestRtcBasic_PublishPlay

支持的参数如下：

-srs-server，RTC服务器地址。默认值：127.0.0.1
-srs-stream，RTC流地址，一般会加上随机的后缀。默认值：/rtc/regression
-srs-timeout，每个Case的超时时间，毫秒。默认值：5000，即5秒。
-srs-publish-audio，推流时，使用的音频文件。默认值：avatar.ogg
-srs-publish-video，推流时，使用的视频文件。默认值：avatar.h264
-srs-publish-video-fps，推流时，视频文件的FPS。默认值：25
-srs-vnet-client-ip，设置pion/vnet客户端的虚拟IP，不能和服务器IP冲突。默认值：192.168.168.168

其他不常用参数：

-srs-log，是否开启详细日志。默认值：false
-srs-play-ok-packets，播放时，收到多少个包认为是测试通过，默认值：10
-srs-publish-ok-packets，推流时，发送多少个包认为时测试通过，默认值：10
-srs-https，是否连接HTTPS-API。默认值：false，即连接HTTP-API。
-srs-play-pli，播放时，PLI的间隔，毫秒。默认值：5000，即5秒。
-srs-dtls-drop-packets，DTLS丢包测试，丢了多少个包算成功，默认值：5

Note: 查看全部参数请执行./objs/srs_test -h

GB28181 Test

支持GB28181的压测，使用选项-sfu gb28181可以查看帮助：

make && ./objs/srs_bench -sfu gb28181 --help

运行回归测试用例，更多命令请参考Regression Test：

go test ./gb28181 -mod=vendor -v -count=1

也可以用make编译出重复使用的二进制：

make && ./objs/srs_gb28181_test -test.v

支持的参数如下：

-srs-sip，SIP服务器地址。默认值：tcp://127.0.0.1:5060
-srs-stream，GB的user，即流名称，一般会加上随机的后缀。默认值：3402000000
-srs-timeout，每个Case的超时时间，毫秒。默认值：11000，即11秒。
-srs-publish-audio，推流时，使用的音频文件。默认值：avatar.aac
-srs-publish-video，推流时，使用的视频文件，注意：扩展名.h264表明编码格式为AVC，.h265表明编码格式为HEVC。默认值：avatar.h264
-srs-publish-video-fps，推流时，视频文件的FPS。默认值：25

其他不常用参数：

-srs-log，是否开启详细日志。默认值：false

Note: 查看全部参数请执行./objs/srs_gb28181_test -h

Blackbox Test

使用FFmpeg作为客户端，对流媒体服务器SRS进行黑盒压测，完全黑盒的回归测试。

运行回归测试用例，如果只跑一次，可以直接运行：

go test ./blackbox -mod=vendor -v -count=1

也可以用make编译出重复使用的二进制：

make && ./objs/srs_blackbox_test -test.v

由于黑盒测试依赖特殊的FFmpeg，可以在Docker中编译和启动：

docker run --rm -it -v $(pwd):/g -w /g ossrs/srs:ubuntu20 bash
make && ./objs/srs_blackbox_test -test.v

Note: 依赖SRS二进制，当然也可以在这个Docker中编译SRS，具体请参考SRS的Wiki。

支持的参数如下：

-srs-binary，每个测试用例都需要启动一个SRS服务，因此需要设置SRS的位置。默认值：../../objs/srs
-srs-ffmpeg，FFmpeg工具的位置，用来推流和录制。默认值：ffmpeg
-srs-ffprobe，ffprobe工具的位置，用来分析流的信息。默认值：ffprobe
-srs-timeout，每个Case的超时时间，毫秒。默认值：64000，即64秒。
-srs-publish-avatar，测试源文件路径。默认值：avatar.flv。
-srs-ffprobe-duration，每个Case的探测时间，毫秒。默认值：16000，即16秒。
-srs-ffprobe-timeout，每个Case的探测超时时间，毫秒。默认值：21000，即21秒。

其他不常用参数：

-srs-log，是否开启详细日志。默认值：false
-srs-stdout，是否开启SRS的stdout详细日志。默认值：false
-srs-ffmpeg-stderr，是否开启FFmpeg的stderr详细日志。默认值：false
-srs-dvr-stderr，是否开启DVR的stderr详细日志。默认值：false
-srs-ffprobe-stdout，是否开启FFprobe的stdout详细日志。默认值：false

由于每个黑盒的用例时间都很长，可以开启并行：

./objs/srs_blackbox_test -test.v -test.parallel 8

Note: 查看全部参数请执行./objs/srs_blackbox_test -h

GCOVR

本机生成覆盖率时，我们使用工具gcovr。

在macOS上安装gcovr：

pip3 install gcovr

在CentOS上安装gcovr：

yum install -y python2-pip &&
pip install lxml && pip install gcovr

Janus

支持Janus的压测，使用选项-sfu janus可以查看帮助：

make && ./objs/srs_bench -sfu janus --help

首先需要启动Janus，推荐使用janus-docker:

ip=$(ifconfig en0 inet|grep inet|awk '{print $2}') &&
sed -i '' "s/nat_1_1_mapping.*/nat_1_1_mapping=\"$ip\"/g" janus.jcfg &&
docker run --rm -it -p 8080:8080 -p 8443:8443 -p 20000-20010:20000-20010/udp \
    -v $(pwd)/janus.jcfg:/usr/local/etc/janus/janus.jcfg \
    -v $(pwd)/janus.plugin.videoroom.jcfg:/usr/local/etc/janus/janus.plugin.videoroom.jcfg \
    registry.cn-hangzhou.aliyuncs.com/ossrs/janus:v1.0.7

若启动成功，打开页面，可以自动入会：http://localhost:8080

模拟5个推流入会，可以在页面看到入会的流：

make -j10 && ./objs/srs_bench -sfu janus \
  -pr webrtc://localhost:8080/2345/livestream \
  -sa avatar.ogg -sv avatar.h264 -fps 25 -sn 5

模拟5个拉流入会，只拉流不推流：

make -j10 && ./objs/srs_bench -sfu janus \
  -sr webrtc://localhost:8080/2345/livestream \
  -nn 5

Install LIBSRT

我们使用 srtgo 库测试SRT协议，需要安装libsrt库，参考macOS：

brew install srt

如果是Ubuntu，可以参考Ubuntu:

apt-get install -y libsrt

安装完libsrt后，直接编译srs-bench即可：

make

Ubuntu Docker

如果使用Ubuntu编译，推荐使用 ossrs/srs:ubuntu20 作为镜像编译，已经编译了openssl和libsrt，启动容器：

docker run --rm -it -v $(pwd):/g -w /g ossrs/srs:ubuntu20 make

GoLand

使用GoLand编译和调试时，需要设置libsrt的环境变量，首先可以使用brew获取路径：

brew --prefix srt
#/opt/homebrew/opt/srt

然后在GoLand中，编辑配置 Edit Configurations，添加环境变量：

CGO_CFLAGS=-I/opt/homebrew/opt/srt/include;CGO_LDFLAGS=-L/opt/homebrew/opt/srt/lib -lsrt

Note: 特别注意的是，CGO_LDFLAGS是可以有空格的，不能使用字符串，否则找不到库。

2021.01, Winlin

ossrs / srs-bench

readme

srs-bench

Usage

Player for WHEP

Publisher for WHIP

Multiple WHIP or WHEP for RTC

DVR for RTC Benchmark

RTC Plaintext

Reconnecting Load Test

Regression Test

GB28181 Test

Blackbox Test

GCOVR

Janus

Install LIBSRT

Ubuntu Docker

GoLand