山东省人工智能自然科学奖一等奖（2020年度）：三维视频智能编码基础理论与方法成果简介

​ 为贯彻落实《关于进一步鼓励和规范山东省社会力量设立科学技术奖的指导意见》（鲁科字〔2018〕129号）和《山东省深化科技奖励制度改革方案》（鲁科字〔2018〕124号）的要求，推动山东省人工智能学术研究和产业进步，山东省人工智能学会开展了山东省人工智能科学技术奖评选工作，迄今已成功举办两届，受到省内外人工智能研究者的广泛关注。为更好展示我省人工智能科技工作者的风采，带动更多高水平研究成果的产出，作为山东省人工智能学会“全国科技工作者日”系列活动之一，我们将对历届获奖成果和获奖科技工作者进行宣介，欢迎大家关注。

人工智能自然科学奖一等奖：三维视频智能编码基础理论与方法

 

成果简介

 图像视频编码研究视觉信号在率失真准则下的最优表示，是可视媒体计算、存储、传输的核心，已成为数字媒体通信、公共安防等国家重大应用的共性基础，也是工信部、国家广电总局、中央广播电视总台联合印发的《超高清视频产业发展行动计划》中提出的重点、核心任务之一。传统单目视频中用户的观看内容由摄像机的空间位置决定，用户不能自由地选择观看视角，也无法体验到真实的三维场景。而三维视频则可以依据用户需求通过内容渲染或视点合成技术使用户观看到场景中任意视点的三维信息，能够为用户提供“身临其境”的视觉感知，是虚拟/增强现实的内容基础之一，数十年来一直是人类追求的视觉体验目标，也是科学界、工业界的研究热点。相比单目视频，三维视频数据量更加巨大。三维视频一般采用多视点色度和深度视频表示。用户可依据观看视角，采用虚拟视点合成技术构建任意视点的视频。由于虚拟视点视频质量较低，严重限制了三维视频的应用。在国际标准组织 MPEG(运动图像专家组)确定的三维视频编码工具范围内，如何突破虚拟视图质量的限制，揭示三维视频特有的率失真特性，解决三维视频的率失真优化编码问题，大幅度提高三维视频的编码效率，是长期困扰国内外学术届的难题。

 项目组在国家自然科学基金委和山东省自然科学基金委等项目的支持下，历经长期深入的研究，揭示了三维视频的率失真特性，实现了虚拟视点视频的失真建模，开辟了三维视频优化编码的理论途径，对三维视频编码理论与方法做出了创造性贡献，促进了相关学科(图像处理、广播与电视工程技术、信息论、计算机图像处理)领域(视频编码)的发展。主要科学发现点如下：

 1、发现了虚拟视点视频的失真与色度、深度视频的均方编码误差(MSE)之间的关系，建立了三维视频的虚拟视图失真模型，首次用解析方法实现了色度、深度视频的最优化联合码率分配。相关成果被国际、国内多位著名学者、IEEE Fellow 大篇幅 的引用评述以及实验比较。

 2、发现了虚拟视点视频失真与深度视频绝对编码误差(MAE)之间的关系，首次明确了由编码导致的虚拟视图噪声(失真)表现为零均值的白噪声，并确定了深度图率失真优化编码方法以及虚拟视图质量增强与估计方法。相关成果被国际、国内多位著名学者、IEEE Fellow、以及院士引用评述，并作为“基准方法”进行分析与比较。

 3、发现了变焦运动物体特有的运动模型以及刚性运动物体的同构运动属性，并提出了率失真最优的变焦运动补偿预测方法和 H.264/AVC 到 H.265/HEVC 视频编码标准的快速转换方法，有效提升了三维视频的编码效率。

 8 篇代表性论文被 SCI 期刊严格他引 131 次，得到国际、国内多个著名研究团队的正面评价。其中，代表性论文 1 被 SCI 期刊严格他引 50 次。获得相关发明专利授权 8 项。因在三维视频编码方面的贡献，项目完成人 2012 年入选了人社部第二届“香江学者”计划，2016 年获得了山东省自然科学杰出青年基金的资助以及山东省教育厅颁发的山东省高校优秀科研成果奖一等奖，2017 年被遴选为 IEEE 高级会员。

项目完成人
姓名	单位
元辉	山东大学