本成果着重研究对不同模态数据如何构造不同的特征表示。通过构建"端到端”神经网络，自适应地学习不同模态、不同层次特征对目标的贡献程度，以获得数据驱动的多模态特征表示。充分利用弱监督标签指导下的自底向上和自顶向下信息，采用自适应神经网络学习输入数据、弱监督标记、目标三者间的隐含关系，以获得数据驱动的多模态
特征表示。
市场分析
目前，监督学习在场景理解、视频分析、人像追踪等领域应用广泛。但是，由于标注数据的缺失，在很多新兴领域难以完成模型的训练。如果能能够将迁移学习与自监督学习相结合，通过有标签数据的其他域完成目标域无标签的监督训练，并结合多模态知识，则可以进一步提高模型在目标域数据缺失的情况下实际场景理解中的效果。
已有应用情况
基于深度学习的人脸识别以及人脸支付已经在全国各大城市投入使用，尤其在疫情期间，人脸识别系统在阻断病毒的传播，控制人员的出入等方面发挥了巨大的作用。
模式识别在智能家居，智慧城市，智慧出行等领域也在逐步发挥作用，这些智能设备不仅提高了我们的生活，出行质量，也解决了公共社会资源。
产业化成本效益分析
多模态弱监督图像显著区域检测分割方法主要研究多领域配合，多模态融合，能够利用相近领域的相近数据，知识进行迁移，能够极大程度的节约社会资源，并且降低模型的训练成本。也可提高我们的智能生活体验，方便出行。