3.1 Model Overview 在第一阶段，使用LORA预训练SAM模型，利用未标记的医学图像数据，采多种自监督学习的方式：对于image-level特征的对比学习，对于patch-level特征的MAE，以及针对pixel-level特征的去噪。然后，LoRA专家进入阶段2，在此阶段使用少量的标记数据微调SAM模型，为了有效集成三个LoRA专家，作者提出了一种HL-Attn(Hierar

3. 方法 3.1 预备知识 给定一个带有MMM个示例的DL={xli,yi}i=1MD_L=\{x_l^i,y^i\}_{i=1}^MDL​={xli​,yi}i=1M​，和NNN个未标注示例的DU={xui}i=1ND_U=\{x_u^i\}_{i=1}^NDU​={xui​}i=1N​，其中xlx_lxl​和xux_uxu​分别代表已标注和未标注的输入图像，yyy代表已标注数据的标签。通常，

1. 介绍 多模态大模型如LLaVA、Qwen-VL和Falmingo在图像理解、视觉推理和多模态生成等任务中表现出了非凡的熟练程度。这些成功源于将强大的语言模型与视觉编码器集成，使得图像和文本输入能够融合到统一的表示中用于进一步的推理，但是现有的MLLM仍然容易受到恶意输入和有害可视内容的攻击。具体来说，最近的研究确定了两种针对MLLMs的攻击。与涉及离散tokenization和embeddi

介绍 随着越来越多的大型VLM被公开，本文想要研究这种范式对安全的影响和这种攻击面的扩大，作者强调将视觉输入整合到LLMs中会导致攻击面的扩大。核心风险源于额外视觉空间的暴露-其固有的连续性和高维性使其成为视觉对抗样本的薄弱环节，而这类对抗威胁本质上难以防御。相比之下，纯文本领域的对抗攻击由于文本空间的离散型更难实现。因此，从纯文本领域向文本-视觉复合领域的过渡，本质上扩展了攻击面，同时加剧了防御