随着数字融合的进一步发展，系统的设计和实现需要更大的灵活性，以解决将完全不同的标准和要求集成为同类产品时引发的诸多问题。本文介绍fpga在视频处理中的应用，与assp和芯片组解决方案相比，fpga可根据当前(中国)设计工程师的实际需求提供不同层次的灵活性，并保持明显优于传统dsp的性能。
实时视频处理对系统性能的要求极高，因此几乎所有只具最简单功能的通用dsp都不具备这项功能。可编程逻辑器件允许设计人员利用并行处理技术实现视频信号处理算法，并且只需单个器件就能实现期望的性能。基于dsp的解决方案通常需要在单板上嵌入许多dsp，以得到必需的处理能力，这无疑将增加程序资源开销和数据存储器资源开销。
通过在实时环境下进行视频处理，系统工程人员可将帧存储器需求和数据缓冲需求降至最低，而在非实时应用中则无需如此。
随着业界积极推动高质量视频开发以及压缩格式的不断改进，系统处理速度也不断提高。可编程逻辑器件也采用了专用寻呼设备中广泛采用的fpga器件架构。由于fpga工艺的发展遵循摩尔定律，因此与稍早开发的同种产品相比，新产品能以更具吸引力的成本优势实现相同的功能和性能。
这种趋势的一大源动力来自网络、广播、处理和显示技术的融合，即业界所称的“数字融合”。由于在极窄的传输信道(如无线信道)上发送高带宽视频数据并保持适当的业务质量(qos)极其困难，因此设计人员展开了广泛的研究，致力于改进纠错、压缩和图像处理技术，这些研究均建立在fpga实现的基础上。
图像压缩/解压缩-dct/idct
目前在数字视频系统中主要使用的视频压缩格式是mpeg2，已广泛应用于数字电视、机顶盒、数字卫星系统、高清晰度电视(hdtv)解码器、dvd播放器、视频会议设备和网络电话中。原始的数字视频信息总需要进行压缩，以便通过适当的传输信道传送或者存储在适当的介质(如磁盘)中。此外还有许多新标准即将或正在推出，包括最为引人注目的mpeg4，但大多数基于该技术的产品仍在开发中。
mpeg2和mpeg4算法的核心是一种称为离散余弦变换(dct)的操作。dct的基本原理是取像素块的平方并除去观察者察觉不到的冗余信息。为了解压缩数据，还需要反离散余弦(idct)运算。
虽然mpeg算法中的dct部分已经标准化并能在fpga中有效实现，mpeg编码仍有许多部分尚未明确规定。而正是这些不明确部分使得一家公司的产品得以区别于竞争对手，并开发出拥有自主产权的算法。许多专用mpeg解码器在这些部分(如运动估计模块)使用了fpga。因为fpga可重新配置，因此器件能方便地进行刷新，并在整个开发阶段(包括配置之后)集成新算法，而完全依赖标准assp解决方案的公司由于受到自身能力的限制而无法开发出类似产品，因此市场风险较大(图1)。
色彩空间转换
视频系统另一重要部分是色彩空间转换，该工艺规定了图像的表示方法，例如由一种色彩格式转化为另一种不同的色彩格式。
人眼感测器只能检测到波长介于400nm至700nm之间的可见光，这些感测器称为圆锥细胞，具有三种不同的类型：红光圆锥细胞、绿光圆锥细胞和蓝光圆锥细胞。如果单波长的光可见，这三种感测器的相对反应能使我们鉴别出光的颜色。该现象极具实用价值，因为这意味着我们只需简单地按不同比例将上述三种光混合，就能生成各种颜色的光。这就是著名的三色原理，它在彩电系统中获得了广泛的应用。
我们可以在3维立方体中通过绘制三原色(即红色、绿色和蓝色，简写为rgb)的构成比率图以表示各种颜色，其中黑色位于原点，而白色则位于原点的斜对角。得到的立方体就是著名的rgb色彩空间。
