近日，新葡的京集团35222vip2017级计算机科学与技术专业刘晓豪同学和2019级计算机科学与技术专业邵佳泓同学撰写的学术论文“EliMRec: Eliminating Single-modal Bias in Multimedia Recommendation”被ACM MM2022（ACM International Conference on Multimedia, ACM MM）长文录用，论文指导老师为杨丽芳老师和陶竹林老师。本次会议共收到有效稿件2473篇，最终录用690篇，录用率为27.9%，会议将于2022年10月10-14日在葡萄牙里斯本召开。ACM MM是国际多媒体领域最重要的顶级会议，被CCF推荐为该领域唯一的A类国际学术会议。
同时，新葡的京集团35222vip2017级计算机科学与技术专业刘晓豪同学和2017级计算机科学与技术专业夏业伟同学撰写的学术论文“Self-supervised learning for Multimedia Recommendation”被IEEE Transactions on Multimedia（TMM）期刊录用。这是我校理工类本科生首次在国际权威期刊上发表学术论文，论文指导老师为杨丽芳老师和陶竹林老师。TMM期刊由IEEE计算机协会主办，目前影响因子IF = 6.513，是全球范围内计算机图像视频处理领域的权威期刊，属于中科院一区和我校T类期刊。
刘晓豪同学和邵佳泓同学的论文从因果角度出发，探讨了多模态融合的内部机理，并提出了EliMRec框架。该框架增强了单模态偏差的捕获能力，并构建了多个反事实世界（即保持一个单模态变换而其他模态固定），最终利用反事实分析去除单模态特征对用户喜好分数的直接效应（单模态偏差）。大量实验验证了EliMRec在各种不同情况下，均有优于已有算法的表现。
EliMRec框架
刘晓豪同学和夏业伟同学的论文将自监督学习（SSL）融合进多媒体推荐中，构建了SLMRec模型，在数据增强和对比学习的范式设计了三种不同维度的SSL方式：特征丢弃（feature dropout）、特征遮盖（feature masking）和粗细粒度对比（fine and coarse space）。SSL的引入与改进使得多媒体推荐模型能更好地建立模态之间的关联，并学习到更强的多模态表征，克服了多媒体内容表征粗糙造成的表示能力欠缺问题。本模型相比发表于 SIGIR’20 会议上的LightGCN模型，在Tiktok、Kwai、Movielens三个不同的数据集上Recall@10提升了78.30%、23.58%、72.68%，Precision@10提升了86.000%、45.02%、73.97%。
SLMRec模型架构图
