大模子日报｜5 篇必读的大模子论文

大家好，今日必读的大模子论文来啦！
CoD：利用诊断链实现可解释的医疗智能体
随着大语言模子（LLMs）的出现，医学诊断领域发生了巨大厘革，但这些模子的可解释性问题在很大水平上仍未得到解决。
进步基于 LLM 的医疗诊断的可解释性，来自深圳市大数据研究院和香港中文大学的研究团队提出了诊断链（Chain-of-Diagnosis，CoD）。
CoD 将诊断过程转化为一个反映大夫头脑过程的诊断链，提供了一个透明的推理路径。别的，CoD 还能输出疾病可信度分布，确保决定的透明度。这种可解释性使模子诊断具有可控性，并有助于通过低沉置信度的熵来识别关键症状，以便进行调查。利用 CoD，他们开辟了 DiagnosisGPT，其能够诊断 9604 种疾病。
实验效果表明，DiagnosisGPT 在诊断基准上优于其他 LLM。别的，DiagnosisGPT 还提供了可解释性，同时确保了诊断严谨性的可控性。
论文链接：
https://arxiv.org/abs/2407.13301
GitHub 地址：
https://github.com/FreedomIntelligence/Chain-of-Diagnosis
Cross Anything：通用四足机器人在复杂地形中导航
视觉语言模子（VLM）在各种机器人任务中的应用取得了明显的成就，但用于四足机器人导航的底子模子却鲜有探索。
来自上海期智研究院、浙江大学和上海交通大学的研究团队提出了由高级推理模块和低级控制战略组成的创新体系—Cross Anything System（CAS），它使机器人能够在复杂的 3D 地形中导航并到达目的位置。在高级推理和运动规划方面，他们提出了一种利用 VLM 的新型算法体系，并设计了任务分解和闭环子任务执行机制。在低级运动控制方面，他们利用概率退火选择（PAS）方法，通过强化学习练习控制战略。
大量实验表明，这一体系可以在复杂的 3D 地形中正确、鲁棒地导航，其强盛的泛化能力确保了它在室内外各种场景和地形中的应用。
论文链接：
https://arxiv.org/abs/2407.16412
项目地址：
https://cross-anything.github.io/
INF-LaVA：高分辨率多模态大语言模子的双视角感知
随着数据可用性和计算资源的进步，多模态大语言模子（MLLM）已在各个领域大显技艺。 然而，MLLM 中视觉编码器的二次方复杂性限定了输入图像的分辨率。 现在大多数方法都是通过将高分辨率图像裁剪成较小的子图像，然后由视觉编码器独立处理。只管能捕捉到充足的局部细节，但这些子图像缺乏全局背景，无法相互影响。
为实现有用的高分辨率图像感知，来自厦门大学的研究团队提出了一种新型 MLLM——INF-LaVA。INF-LaVA 包含两个创新组件—— 双视角裁剪模块（DCM），确保每个子图像都包含局部视角的一连细节和全局视角的综合信息；双视角加强模块（DEM），以实现全局和局部特性的相互加强，从而使 INF-LaVA 能够通过同时捕捉详细的局部信息和全面的全局背景来有用处理高分辨率图像。
广泛的溶解研究验证了这些组件的有用性，对各种基准的实验表明，INF-LaVA 的性能优于现有的 MLLM。
论文链接：
https://arxiv.org/abs/2407.16198
GitHub 地址：
https://github.com/WeihuangLin/INF-LLaVA
T2V-CompBench：首个合成文生视频模子定制基准
文生视频（T2V）模子已经取得了长足的进步，但它们将不同对象、属性、动作和运动合成到视频中的能力仍有待开辟。以往的文生视频基准也忽略了这一重要的评估能力。
在这项工作中，来自香港大学、香港中文大学和华为的研究团队，初次对合成文本到视频生成进行了体系研究，提出了首个为合成文本到视频生成量身定制的基准 T2V-CompBench。T2V-CompBench 涵盖了合成的各个方面，包罗划一的属性绑定、动态属性绑定、空间关系、动作绑定、对象交互和生成计算。 他们进一步精心设计了基于 MLLM 的指标、基于检测的指标和基于跟踪的指标等评价指标，这些指标能更好地反映七个拟议种别的合成文本到视频的生成质量，其包含 700 个文本提示。 他们通过与人工评估的相干性验证了所建议指标的有用性。
他们还对各种文本到视频生成模子进行了基准测试，并对不同模子和不同合成种别进行了深入分析。他们发现，合成文本到视频的生成对于当前的模子来说极具挑衅性。
论文链接：
https://arxiv.org/abs/2407.14505
项目地址：
https://t2v-compbench.github.io/
RedAgent：可生成上下文感知越狱提示的多智能体 LLM 体系
最近，GPT-4 等大语言模子（LLM）已被集成到 Code Copilot 等很多现实应用中。这些应用大大扩展了 LLM 的攻击面，使其面临各种威胁。其中，通过越狱提示诱发毒性反应的越狱攻击引发了严重的安全问题。为了识别这些威胁，越来越多的红队方法通过制作越狱提示来模拟潜伏的对抗场景。然而，现有的红队方法并没有考虑到 LLM 在不同场景下的独特毛病，因此很难调解越狱提示来发现特定场景下的毛病。同时，这些方法仅限于使用一些突变操作来完善越狱模板，缺乏适应不同场景的主动化和可扩展性。
为了实现上下文感知的高效红队，来自浙江大学的研究团队及其相助者将现有攻击抽象和建模为一个连贯的概念，即“越狱战略”，并提出了一个多智能体 LLM 体系——RedAgent，利用这些战略生成上下文感知的越狱提示。通过对附加内存缓冲区中的上下文反馈进行自我反思，RedAgent 不停学习如何利用这些战略在特定上下文中实现有用越狱。
广泛的实验证实，该体系只需五次查询就能越狱大多数黑盒 LLM，将现有红队越狱方法的效率进步了两倍。别的，RedAgent 还能更高效地越狱定制的 LLM 应用步伐。通过生成针对 GPT 上应用步伐的上下文感知越狱提示，他们发现了这些现实世界应用步伐的 60 个严重毛病，每个毛病仅需两次查询。
论文链接：
https://arxiv.org/abs/2407.16667

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。