贝壳博客 - Part 10

FFmpeg 2.6 发布

2015年3月16日 by aliang·2条评论

非常多的改进，比较感兴趣的是正式支持openh264作为编码器了。
openh264使用宽松的BSD许可协议，由cisco主导发布。

思科并不是第一个去创建H.264的开源实现的。GNU的libavcodec库已经包括了解码器和编码器，后者基于x264。但是思科提供的开源实现是有法律支持的 – 而这正是其它的开源实现所缺乏的。这使得思科的解码器对象Mozilla这样的公司来说就非常有用，这可以使得它们无需担心法律问题。

另外还支持了Nvidia nvenc的硬件编码器，这无疑加强了了作为云端流媒体转码的优势！
后期做个x264与openh264的性能测试。

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: FFmpeg 2.6 发布

Android 4.0以上系统硬件解码RTMP流的一种方式

2015年3月12日 by aliang·0评论

关于Android5.0开放的Native-codec测试一文中有提到4.0通过OpenMAX AL接口实现硬解码。可以先从分析native-media这个sample开始，可以在ndk目录中找到。

首先调用Java_com_example_nativemedia_NativeMedia_createEngine ?创建引擎和output mix 对象。
Java_com_example_nativemedia_NativeMedia_setSurface 将java层的Surface对象转为NativeWindow对象用于视频显示
Java_com_example_nativemedia_NativeMedia_createStreamingMediaPlayer ?初始化data source、?audio sink、image video sink、media player等对象，注册AndroidBufferQueueCallback?StreamChangeCallback两个回调，调用enqueueInitialBuffers预填充部分初始数据。
enqueueInitialBuffers中通过读取ts文件获取足够量的buffer用于初始化
AndroidBufferQueueCallback 的注释：?register the callback from which OpenMAX AL can retrieve the data to play,程序回调这里说明可以读buffer开始播放了

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: Android 4.0以上系统硬件解码RTMP流的一种方式

开源一个基于js的RTMP服务端

2015年2月4日 by aliang·一条评论

其实是2个，一个基于fibjs，一个基于nodejs
两个版本大部分是一样的，只是在数据处理方面有差异。

fibjs版本：https://github.com/illuspas/NodeMediaServer
fibjs没有回调一说，同步的流程写起来相当舒服。

nodejs版：https://github.com/illuspas/Node-Media-Server
nodejs的数据是on(‘data’)回调回来的，解析rtmp包很费劲，需要根据包头一步一步分析出需要的包大小。为此写了个QueueBuffer类，请求的数据大小足够即返回，不够就回压再等待数据下次继续解析。

目前只支持了H264+AAC，支持多路发布和播放。
fibjs版目前在大并发的时候会阻塞发布端，写得有点问题，空了再改改。
没有缓冲关键帧，播放的启动时间可能会等下一个关键帧来了才开始

此项目仅为空闲时写着玩的，参照了很多别人的代码，并不会长期维护。如果你感兴趣，欢迎fork。

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 开源一个基于js的RTMP服务端

来晚了的 NativeCodec

2015年1月23日 by aliang·一条评论

久了没更新NDK，今天下载了r10d，惊讶的发现多了个native-codec这个sample。
应该就是API 16那个JAVA版MediaCodec的native版
限制就是最低 api 21 就是Android 5.0
这限制基本上近期都没戏了，先去刷个5.0的系统再来测试。

=============2015年2月10日，测试结果来了======================

继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 来晚了的 NativeCodec

转一段 Xcode6 下编译x264的脚本

2014年12月11日 by aliang·3条评论

下载最新x264源码 ftp://ftp.videolan.org/pub/x264/snapshots/last_x264.tar.bz2
下载gas-preprocessor https://github.com/libav/gas-preprocessor 并copy到 /usr/local/bin/gas-preprocessor.pl
继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 转一段 Xcode6 下编译x264的脚本

windows下全志 A20 Android script.fex 调试工具

2014年8月22日 by aliang·0评论

最近在做全志A20的Android系统开发，经常需要调试script.fex文件中的参数。
会经常用到sunxi-tools中的几个工具

fexc:
	`.fex` file (de)compiler

	Usage: ./fexc [-vq] [-I <infmt>] [-O <outfmt>] [<input> [<output>]]

	infmt:  fex, bin  (default:fex)
	outfmt: fex, bin  (default:bin)

bin2fex:
	compatibility shortcut to call `fexc` to decompile an script.bin
	blob back into `.fex` format used by allwinner's SDK to configure
	the boards.

fex2bin:
	compatiblity shortcut to call `fexc` to compile a `.fex` file into
	the binary form used by the sun4i kernel.

fexc:

`.fex` file (de)compiler

Usage: ./fexc [-vq] [-I <infmt>] [-O <outfmt>] [<input> [<output>]]

infmt: fex, bin (default:fex)

outfmt: fex, bin (default:bin)

bin2fex:

compatibility shortcut to call `fexc` to decompile an script.bin

blob back into `.fex` format used by allwinner's SDK to configure

the boards.

fex2bin:

compatiblity shortcut to call `fexc` to compile a `.fex` file into

the binary form used by the sun4i kernel.

后来需要在windows下工作切换环境很麻烦所以用cygwin编译了sunxi-tools 并写了几个脚本文件，方便多了

步骤：继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: windows下全志 A20 Android script.fex 调试工具

使用ffmpeg进行rtp串流h.264时关于sdp的一些分析

2014年8月7日 by aliang·0评论

阅读ffmpeg串流的手册FFmpeg Streaming Guide
当进行点对点串流时
如果视频编码为H.264时，payload type 为 96

$ ffmpeg -re -i sample1.mp4 -an -c copy -f rtp rtp://127.0.0.1:12345

Output #0, rtp, to 'rtp://127.0.0.1:12345':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf55.48.100
    Stream #0:0(eng): Video: h264 (avc1 / 0x31637661), yuv420p, 424x240, q=2-31, 420 kb/s, 24 fps, 90k tbn, 24 tbc (default)
    Metadata:
      handler_name    : VideoHandler
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
SDP:
v=0
o=- 0 0 IN IP4 127.0.0.1
s=No Name
c=IN IP4 127.0.0.1
t=0 0
a=tool:libavformat 55.48.100
m=video 12345 RTP/AVP 96
b=AS:420
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z0LAHpZiA2P8vCAAAAMAIAAABgHixck=,aMuMsg==; profile-level-id=42C01E

$ ffmpeg -re -i sample1.mp4 -an -c copy -f rtp rtp://127.0.0.1:12345

Output #0, rtp, to 'rtp://127.0.0.1:12345':

Metadata:

major_brand : isom

minor_version : 512

compatible_brands: isomiso2avc1mp41

encoder : Lavf55.48.100

Stream #0:0(eng): Video: h264 (avc1 / 0x31637661), yuv420p, 424x240, q=2-31, 420 kb/s, 24 fps, 90k tbn, 24 tbc (default)

Metadata:

handler_name : VideoHandler

Stream mapping:

Stream #0:0 -> #0:0 (copy)

SDP:

v=0

o=- 0 0 IN IP4 127.0.0.1

s=No Name

c=IN IP4 127.0.0.1

t=0 0

a=tool:libavformat 55.48.100

m=video 12345 RTP/AVP 96

b=AS:420

a=rtpmap:96 H264/90000

a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z0LAHpZiA2P8vCAAAAMAIAAABgHixck=,aMuMsg==; profile-level-id=42C01E

此时会自动输出一段SDP的代码，这时候如果直接播放继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 使用ffmpeg进行rtp串流h.264时关于sdp的一些分析

使用 NDK 编译 libyuv

2014年7月7日 by aliang·3条评论

官方源码:http://code.google.com/p/libyuv/
简介:

libyuv is an open source project that includes YUV scaling and conversion functionality.

Scale YUV to prepare content for compression, with point, bilinear or box filter.
Convert to YUV from webcam formats.
Convert from YUV to formats for rendering/effects.
Rotate by 90/180/270 degrees to adjust for mobile devices in portrait mode.
Optimized for SSE2/SSSE3/AVX2 on x86/x64.
<strong>Optimized for Neon on Arm.</strong> Optimized for DSP R2 on Mips.

libyuv is an open source project that includes YUV scaling and conversion functionality.

Scale YUV to prepare content for compression, with point, bilinear or box filter.

Convert to YUV from webcam formats.

Convert from YUV to formats for rendering/effects.

Rotate by 90/180/270 degrees to adjust for mobile devices in portrait mode.

Optimized for SSE2/SSSE3/AVX2 on x86/x64.

<strong>Optimized for Neon on Arm.</strong> Optimized for DSP R2 on Mips.

YUV层的缩放,色彩空间转换(nv21/nv12 to i420,i420 to rgb565/rgb888),针对ARMv7使用NEON指令集优化.实际项目使用中测试,缩放/转换性能秒杀ffmpeg的libswscale
按官方的编译方法太麻烦,需要装depot tools,ninja
这里直接用android make 方便的多.
继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 使用 NDK 编译 libyuv

iOS基于Audio Queues,Speex,Rtmp的Voip客户端

2013年12月14日 by aliang·22条评论

项目地址：https://github.com/illuspas/SayHey
继续阅读

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: iOS基于Audio Queues,Speex,Rtmp的Voip客户端

支持H.264,Speex编码的Red5 Publisher

2013年11月2日 by aliang·0评论

安装配置Red5 Server 1.0 RC1 （一）中提到过一个Publisher 工具，非常好用。但是Red5官方一直没更新，只能使用flv和nellymoser编码。而现在大多使用H.264和Speex了。
近期为了方便调试，修改了下源码，可以在https://github.com/illuspas/Red5-Publisher找到。
直接使用Flash builder 4.6导入项目即可。
也可以直接下载release.zip使用
直接打开:http://www.nodemedia.cn/uploads/files/Red5-Publisher.swf

原创文章，转载请注明： 转载自贝壳博客

本文链接地址: 支持H.264,Speex编码的Red5 Publisher