芯知识 | 巅峰体感的神操作，MEMC技术

为什么我们在电视机/投影仪等设备上，观看体育比赛/动作大 片时会感受到画面的卡顿？想要弄明白？需要我们先来了解几个技术名词：帧率、MEMC技术、刷新率···

帧率影响着视频的播放效果？

用电视看电影、追剧、看比赛，时常觉得电视在呈现这些内容时表现得并不够好，这其中与片源有很大关系，即画面的流畅感和片源视频的帧率(Frame Rate)有很大的关系，帧率的单位为 fps(frame per second)，即每秒播放多少帧画面。电影普遍采用24帧来呈现其所具有的独特艺术质感，而主流消费级显示设备（显示器、电视机、投影仪）的刷新频率一般为60/120Hz（即每秒刷新60/120张画面），现在不少高端产品开始向144Hz/165Hz甚至是240Hz提升（主要表现在电竞领域），打起游 戏来更“爽”。

“刷新率”就是显示技术术语，其本质上是指显示器上的像素每秒刷新多少次。刷新率和帧率很容易被混淆，其实一个用于终端，一个用于片源，不能互换使用，两个相互协作才能带来更好的观看体验。一旦二者没有匹配，比如刷新率高于帧率或者帧率高于刷新率，体验当然不会好到哪里去；当二者同等时，比如在120Hz面板，观者正在观看以120fps的帧率拍摄的内容，观者就将能够感受到更佳更流畅的平 滑度。在60Hz显示器上观看以120fps拍摄的视频，由于显示器在一秒钟内只能刷新60次，少于120次，那么就会丢掉一半的画面来显示，最终呈现的效果也只有60Hz，画面会有轻微的抖动。

总之，内容的帧率是内容源本身的频率，而设备的刷新率则是设备播放内容时显示的频率。当画面刷新的频率不够高时，在展现一些高速运动场景时会让观看者感觉到明显的卡顿和迟滞。除电影外，各大在线视频平台的片源帧率格式也参差各异，使得最终呈现到用户眼前的画面会有明显的拖影、抖动，这样的情况在观看物体运动频繁的体育赛事/动作大 片时会更明显。

至关重要的MEMC技术

目前，硬件性能已经达到解码60Hz或120Hz的能力，传输技术的信号帧率也达到60或120Hz，唯独视频内容方面，电影的帧率是24Hz，电视帧率一般是25Hz-60Hz。一般情况下画面会通过pull up pull down的方式，增加重复帧 （即第一帧重复3次，第二帧重复2次，第三帧再重复3次，第四帧再重复2次……）这样就把24“fps”的视频各帧“相对均匀”地分配到了60Hz的播放设备上，这种方法并没有给视频添加新的画面内容，运动画面的质量也没有得到真正的改变，虽然是是60Hz的设备，最终呈现的效果也是24Hz的效果。在遇到高速运动场景时就会出现“拖影”或者“模糊”的情况，也就是观影过程中的“拖影现象”。想要这些补充帧准确无误的展现出运动画面应有的效果，就需要强大的运算能力和算法支持，这也就是我们为什么需要MEMC运动补偿技术的原因。

如何解决以上问题呢？这需要运用MEMC的技术，就是通过对图像里物体的运动轨迹（运动矢量）进行检测，在原始帧中间插入运算后的补偿帧来提升画面的流畅性。MEMC，英文全称为Motion Estimation and Motion Compensation，中文译为运动预估与运动补偿。简单来说就是通过芯片和算法基于物体运动的轨迹进行预测，最终补偿出视频源中本身没有的画面，达到画面更为流畅的目的，也就是说，有了这项技术，设备侧可以突破内容本身的限制，把最终呈现效果提升到和设备最终显示频率一致的高帧率。MEMC运动补偿技术是一个电视画质的重要指标。

那么海思的MEMC是如何实现神操作的呢？

MEMC是如何解决“拖影”的？

MEMC试图解决的问题便是如何利用算法来智能化得协同刷新率和帧率，使衔接更自然、动势更顺滑，从而消除运动抖动、运动拖尾，让运动画面更加清晰流畅。

MEMC通过智能算法，根据前后的运动趋势计算其动态变化，预测下一帧的帧速率，在传统的两帧图像之间加插一帧运动补偿帧，将原本24帧的视频处理成60帧甚至120帧，以弥补帧不足。如果帧速率只有24Hz，MEMC会在每奇数帧之后添加一个额外的帧，并在每偶数帧之后添加两个额外的帧以显示60Hz，来匹配在60Hz的终端屏幕上观看。如果帧速率较高，例如120Hz，MEMC所做的是智能化相应地修改添加的帧数，解决电影中的断断续续的问题。MEMC运动补偿功能都是需要靠芯片来实现的，对芯片的性能要求较高。同样是MEMC，因为算法和芯片能力的不同，显示出来的效果也存在着不小的差别。

海思算法去除果冻效应、改善小物体运动

由于所有新增的帧都是运动预测计算出来的，但是画面中，一般会有运动部分和静止部分，MEMC必须要精确识别出运动部分，然后进行预测补偿，一旦识别出错或者补偿出错，都会带来副作用，识别算法有缺陷，会引起果冻效应、光环“halo”和小物体的丢失。补偿算法的优劣，影响画面整体的和谐之美，出现画面破碎等问题。

大家会发现以上动态演示图中，第二帧插入的帧足球消失了，为什么呢？大部分的MEMC算法模块中，采用块匹配的方法计算相邻的帧之间物体的运动相关性，也就是把图像切成16x16或32x32像素矩阵的块，再根据物体的运动矢量（mv）进行插值，由于算法是基于图像的块进行计算而非像素级（每个像素进行计算，计算量成几何级数上升，从芯片成本和可实现性上来看无法实现）导致对于小物体的运动矢量估计不准确，会导致小物体的丢失或出现重叠的现象。

为了改善小物体的运动，海思芯片算法基于当前帧的频率特征计算图像块的运动矢量，这样就能改善小物体的运动矢量计算，大家看第三帧，消失的足球又回来了。

高刷新率这一神操作，是显示技术的一大亮点。智能科技行业领域的头部都已经对其展开了发展研究，尝试让画面流畅如丝，为用户在使用时带来更好的视觉享受。

海思MEMC运动防抖技术，能够通过预测及补帧将每秒24帧的画面调整到最合适的帧数，并减少预测失误，去除果冻效应及改善小物体运动；此外海思早已把8K MEMC整合到8K SoC内，在8K SoC里增加了MEMC，实现了和8K画质模块更好配合，为消费者完美呈现8K身临其境的画质体验，让您无论是玩游 戏、看电影都能体验全程丝滑无卡顿，流畅画质快人一步，质感升级，品质加满！