基于H.264的无线视频传输系统研究
摘要：基于H.264视频编解码标准，设计了一个无线视频传输系统，采用C/S架构，即客户端/服务器架构模式。开发了采用QT框架的视频解码客户端，基于QT框架可移植性强的特性，可以实现跨平台的实时观测，使得系统的适用范围及使用方式更加宽泛及大众化。实验结果表明，该系统的无线传输性能稳定可靠、画面清晰，具有潜在应用价值。
关键词关键词：H.264；视频解码；QT 中图分类号：TP319 文献标识码：A 文章编号：1672-7800（2016）004-0100-02 0引言
近年来，随着嵌入式技术、多媒体技术、计算机网络安全技术的快速发展，远程视频系统[1]也在不断更新与发展。人们对简单、快捷、方便的追求日益提高，因而对系统的可移植性要求越来越高。
本文提出了一种基于ARM+Linux的嵌入式跨平台远程视频传输系统。鉴于Qt框架强大的移植性，本文为基于H.264的远程视频系统开发视频解码客户端，并采用Qt开发框架实现跨平台的实时观测，以便在各系统下能更简便地使用视频监控系统。
1系统总体设计
整个无线视频传输系统包括客户端和服务器端两部分。服务器端（嵌入式Linux系统平台上基于H.264设计的服务器软件）实现视频数据的采集、处理及发送；客户端（基于Qt开发框架的视频解码程序）负责数据的接收及显示。服务器端通过摄像头采集视频数据，进行H.264压缩编码处理后通过无线网络将数据发送到客户端，客户端对数据进行实时解码并显示视频画面。
该系统以三星的Exynos4412四核芯片为中央处理器，外围电路有电源电路、Flash、SDRAM、网络接口以及USB摄像头。在Linux环境下对摄像头采集到的原始图像帧进行处理以及H.264编码与压缩，通过网络协议传输到上位机进行显示。系统硬件平台结构如图1所示。 2系统软件设计
系统采用C/S架构[2]，服务器端采用嵌入式Linux系统作为软件平台，在该平台上基于H.264视频编解码标准设计服务器软件。客户端软件是基于Qt开发框架的视频解码程序。总体工作流程是由USB摄像头采集视频数据，嵌入式处理器对图像数据进行H.264编码，然后通过网络传输协议把编码的数据发送到其它平台的客户端上进行显示，同时服务器端采用了多线程机制[3]，实现了多个客户端可同时显示视频画面。
2.1ARM+Linux嵌入式平台构建
在系统硬件平台上构建嵌入式Linux系统，需要引导程序BootLoader和Linux源码。本系统移植了BootLoader源码，然后将其烧写到Flash中，从Flash中启动，引导在PC机上交叉编译后的Linux镜像及根文件系统，之后启动Linux系统。主要工作包括：
①编译NAND启动方式的uboot.bin；
②按系统需求配置裁剪内核并编译Linux3.5.25内核镜像文件；
③使用BusyBox通过mkyaffs2image工具生成根文件系统的镜像文件；
④驱动配置，将所有USB摄像头驱动编译进内核。执行makemenuconfig命令，选择DeviceDrivers选项下的Multimediasupport中的Videocaptureadapters及其下的V4L2USBdevices选项，这样该系统基本上能够支持市面上大多数USB摄像头。
2.2视频服务器软件设计
本系统采用V4L2视频设备开发框架，它能从摄像头采集格式为YUV格式的图像，然后将YUV格式数据经过H.264编码，通过套接字的方式以UDP网络协议传输到上位机进行显示[4]。
2.2.1H.264编码库的交叉编译与移植
由于本系统采用的是ARM架构的Exynos4412处理器，因而需要在PC机上的Fedora系统中对下载的
x264-snapshot-20140122-2245.tar.bz2源码库文件进行交叉编译。首先将源码库中的顶层Makefile文件的CC=gcc改成CC=arm-linux-gcc，其它相应的编译工具都改为交叉编译工具，然后进行编译和安装，最后在Fedora系统的/usr/local/目录下生成x264目录。其中包含相应的bin、include和lib目录，生成libx264.so.122、libx264.a等库文件，然后将这些文件拷贝到嵌入式硬件系统的相应目录。 2.2.2服务器软件工作流程
首先是初始化，包括摄像头参数设置和H.264编码器参数配置。摄像头配置，主要是调用V4L2对摄像头进行初始化，包括捕获视频尺寸等设置。H.264编码器配置，主要是根据编码图像数据配置编码参数。接下来运行获取图像数据线程及H.264编码和数据传输线程，二者独立运行。获取图像线程会创建抓图线程camera_thread，抓图函数以阻塞方式等待图像数据，当有一帧数据到达后调用H.264编码库函数h264_compress_frame（Encoder*en，inttype，uint8_t*in，uint8_t*out）编码此帧图像，然后标记新的一帧并将编码数据发送到全局缓冲区。数据传输线程捕获并处理了一帧视频之后再通知所有等待数据的客户端线程。该线程分为两大部分：并行服务器线程和客户端处理线程。并行服务器线程
server_thread负责监听客户端请求，一旦有请求就创建一个新的客户端线程专门负责来自此客户端的请求。这样服务器线程就可以一直监听客户端请求。一个客户端线程client_thread只负责处理一个客户端响应，也即只响应一个IP地址的请求。进入client_thread后，设定目的地址IP和端口号，服务器可以不断地将H.264数据发送给客户端。这里以阻塞方式等待一帧数据的到来，一旦有H.264数据则立刻将数据从全局缓冲区中取出，并发送给客户端。整个工作流程如图2所示。
2.3视频客户端软件设计
为了能够实现跨平台的实时视频查看，鉴于Qt开发框架强大的移植性，开发了Qt版的视频解码程序，在终端的用户交互界面上将控制命令发送到服务端，服务端接收到客户端请求命令后开始通过Socket方式发送视频编码数据，当终端的缓冲区接收到数据后开始调用H.264库中的h.264_decode_frame（Decoder*en，inttype，uint8_t*in，uint8_t*out）解码函数来解码数据并发送到终端界面进行显示。视频客户端总体框架结构如图3所示。 3实验测试及结果
本文提出了一种基于H.264的无线传输系统方案。采用Linux作为操作系统，硬件以三星Exynos4412四核芯片为处理器实现了对视频的采集、编码和传输。客户端接收到的
H.264码流并解码的视频如图4所示。
图4中接收到的图像分辨率为320×240，客户端的图像可以实时流畅显示，图像清晰。界面中设置3个按钮：开始、保存和结束，开始按钮用于向服务器端发送控制命令，开始图像编码与发送，保存按钮用于保存一帧图像，结束按钮用于结束接收图像数据。
基于H.264的无线视频传输系统研究
