电子信息学院苏洪磊课题组在智能多媒体通信领域取得系列进展

新闻网讯 近日，电子信息学院苏洪磊课题组（青岛大学智能多媒体信号处理实验室）在智能多媒体通信领域取得一系列重要研究进展，分别发表于国际顶级期刊IEEE Transactions on Image Processing (TIP)、IEEE Transactions on Visualization and Computer Graphics(TVCG)和IEEE Transactions on Multimedia (TMM)，均为中国科学院一区期刊（其中TIP和TVCG为CCF A类期刊）。本课题组的四项主要研究成果分别针对点云质量评价的模型架构、解码效率和感知机制等方面取得突破：

《3DTA: No-Rference 3D Point Cloud Quality Assessment With Twin Attention》发表于IEEE Transactions on Multimedia，第一作者是2022级研究生朱琳霞，通讯作者是苏洪磊。此研究提出了一种基于双重注意力机制的Transformer模型，用于端到端预测点云感知质量。该方法设计了两阶段采样策略，有效提取代表整幅点云的几何和纹理信息，并采用双注意力模块（空间注意力和通道注意力）增强模型对失真的感知能力，从而直接输出点云的主观质量评分。实验结果表明，与以往方法相比，3DTA模型在大部分情况下显著提升了无参考质量评价的准确性，其性能甚至可与部分全参考指标相媲美。这一模型结构简单灵活、适用范围广，为无参考PCQA提供了高精度的解决方案。提出的模型结构如图1所示。

图1：提出的3DTA模型结构图

《No-Reference Bitstream-Based Perceptual Quality Assessment of Octree-Lifting Encoded 3D Point Clouds》发表于IEEE Transactions on Visualization and Computer Graphics，第一作者是2021级研究生吕剑雨，通讯作者是苏洪磊。针对传统的点云质量评价方法需要完整解码点云的问题，本研究提出了一种无参考比特流层质量评价模型streamPCQ-OL，专门用于评价Octree-Lifting编码的3D点云质量。该模型直接从压缩后的比特流中提取关键特征，通过分析纹理量化参数、几何量化尺度等信息，评价点云的几何和纹理失真。与传统方法不同，streamPCQ-OL无需解码完整点云即可实时提供质量评价结果，显著提升了评价的效率。提出的结构图如图2所示。

图2：提出的streamPCQ-OL模型结构图

《Energy-Adaptive Bitstream-Layer Model for Perceptual Quality Assessment of V-PCC Encoded 3D Point Clouds》发表于IEEE Transactions on Image Processing，第一作者是2022级研究生桑伍驷，通讯作者是苏洪磊。针对传统质量评价需完整解码点云的问题，该研究提出在V-PCC压缩码流层直接评价质量的方法。通过分析点云视频压缩码流中的变换能量和量化参数等信息，EABL模型能够预测几何和属性失真，无需将点云完全解码即可在解码过程中实时给出质量评价结果。在WPC2.0、M-PCCD、VSENSE VVDB等四个公开点云数据库上的测试显示，EABL的预测性能与需要完整解码的全参考、部分参考方法不相上下，同时大幅提升了评价速度。该方法实现了点云编码传输过程中质量评价的高效化，为资源受限环境下的点云应用提供了实用方案。提出的模型结构如图3所示。

图3：提出的EABL模型结构图

《Progressive Knowledge Transfer Network Based on Human Visual Perception Mechanism for No-Reference Point Cloud Quality Assessment》发表于IEEE Transactions on Visualization and Computer Graphics，第一作者是苏洪磊，通讯作者是刘祺和元辉。基于人类视觉感知机制，本课题组课题组提出了一种逐步优化质量预测的深度学习架构。PKT-PCQA首先进行粗粒度的质量分类学习，将点云质量分级模拟人眼对优劣的初步判断，随后通过渐进式知识迁移将该粗粒度认知逐步转化为精细的质量评分任务。模型融合了点云的局部与全局特征，并引入空间和通道注意力模块，提升对视觉失真的敏感度。经三个大规模独立点云质量数据库验证，PKT-PCQA在无参考和部分参考评价中均优于现有方法，对比多种全参考指标也表现出相当或更优的性能。该方法有效提升了模型对点云主观质量的感知一致性，实现了从粗略感知到精确评价的跨越。提出的结构图如图4所示。

图4：提出的PKT-PCQA模型结构图

这四篇论文均围绕智能多媒体通信领域的3D点云质量评价这一关键问题展开，在提高评价精度、提升计算效率、增强泛化能力方面均取得重要进展，为自动驾驶、3D视觉通信、虚拟/增强现实、智能制造等领域的高效点云质量评价提供了理论和技术支撑。

本课题的开展和完成得到了国家自然科学基金、山东省自然科学基金等项目的支持。

智能多媒体通信是以人工智能、大数据、物联网等技术为核心，通过高效处理音视频、图像、文本等多模态信息，实现实时交互与智能分析的新型通信模式。其应用涵盖远程办公、在线教育、远程医疗、智能安防、智慧城市、工业质检、虚拟试衣、自动驾驶、AR/VR等领域，同时推动数字孪生、元宇宙社交等新兴场景发展，通过5G、边缘计算等技术提升实时性与沉浸感，助力各行业数字化转型与智能化升级。