病理图像分析是癌症诊断的“金标准”，随着扫描技术的进步，传统病理组织标本已逐步数字化为全切片图像（Whole Slide Image, WSI），为计算机辅助诊断奠定了基础。但因其超高分辨率（如单张图像可达4万×4万像素）和缺乏细粒度标注的特点，使得传统深度学习方法难以直接应用。多实例学习（Multiple Instance Learning, MIL）作为弱监督学习范式，仅需图像级标签即可实现分类与肿瘤定位，成为当前研究热点。然而，MIL范式固有的弱监督信号与WSI中阴阳性实例分布失衡的双重挑战，造成模型对于阳性特征的学习不足，进而导致注意力定位偏差，影响模型性能与临床可应用性。
近日，清华大学深圳国际研究生院助理教授王润铭团队与哈尔滨工业大学（深圳）团队合作针对全切片病理图像分类中注意力机制定位不准确的难题，提出新型多实例学习框架FAMIL，FAMIL采用了双分支结构，并结合了两种创新的在线数据增强策略：基于注意力的混合（ABMix）和基于注意力的掩蔽（ABMask）。其中，ABMix强调了阳性实例的重要性，在MIL场景中推广了Mixup，ABMask则灵活地识别具有挑战性的阳性实例，以优化特征学习。值得注意的是，FAMIL具备即插即用特性，可灵活嵌入现有注意力模型以提升性能与泛化能力。
图一 FAMIL网络架构
研究选取ABMIL、DSMIL、TransMIL三种主流注意力MIL方法作为基线模型，在涵盖不同癌症类型的多组数据集上进行验证。实验表明，经FAMIL优化后所有基线模型性能均显著提升。同时，研究将经过FAMIL优化后模型与其他先进的MIL方法进行比较，进一步验证了研究架构的有效性和先进性。
表一 对比实验结果
此外，研究中的ABMix为阳性区域构建多样化阴性环境，ABMask对WSI中阳性硬实例进行灵活挖掘，共同增强了模型对阳性特征表征学习，改进了基于注意力的MIL方法肿瘤定位能力，显著改善了阳性WSI中注意力定位不准确和阴性WSI中注意力分布不平衡的问题。
图二 注意力可视化图
相关研究成果以“Focus Your Attention: 基于注意力修正的全玻片病理图像分类多实例学习”(Focus Your Attention: Multiple Instance Learning with Attention Modification for Whole Slide Pathological Image Classification) 为题，发表在“工程：电子与电气”领域、中科院一区期刊《IEEE电路与系统视频技术汇刊》(IEEE Transactions on Circuits and Systems for Video Technology, TCSVT)
论文第一作者为清华大学深圳国际研究生院2022级硕士生程海伦，王润铭为通讯作者，哈尔滨工业大学（深圳）张永兵教授为共同通讯作者，论文的共同作者包括哈尔滨工业大学（深圳）22级博士生黄沈锦、23级博士生蔡凌翰，清华大学深圳国际研究生院2022级硕士生徐炀帆。该研究工作得到了清华大学深圳国际研究生院交叉基金、国家自然科学基金等支持。
论文链接：https://doi.org/10.1109/TCSVT.2025.3528625
