IT评测·应用市场-qidao123.com

标题: 论文解读 | AAAI'25 CoRA：基于大型语言模型权重的协作信息感知用于推荐 [打印本页]

作者: 梦见你的名字 时间: 2025-3-13 11:37
标题: 论文解读 | AAAI'25 CoRA：基于大型语言模型权重的协作信息感知用于推荐

点击蓝字

  关注我们
  AI TIME欢迎每一位AI爱好者的到场！

  点击 阅读原文 观看作者讲解回放！
  个人信息
  作者：刘禹廷，东北大学博士生

  内容简介
  将协作信息融入大型语言模型（LLMs）是一种有远景的顺应推荐任务的技术。现有的方法通过将协作特性与文本标志拼接成同一的序列输入，然后进行微调以使这些特性与LLM的输入空间对齐来实现。只管这种方法有效，但在本研究中，我们发现了在将LLM顺应于推荐任务时的两个限定，这些限定阻碍了通用知识和协作信息的整合，从而导致推荐性能次优。（1）利用推荐数据对LLM进行微调可能会减弱其固有的天下知识和基本能力，而这些能力对于解释和推断推荐文本至关紧张。（2）将协作特性纳入文本提示会破坏原始提示的语义，阻止LLM生成适当的输出。在本文中，我们提出了一种新的范式——协作LoRA（CoRA），并引入了协作查询生成器。该方法不是对齐输入空间，而是将协作信息与LLM的参数空间对齐，并将其表示为增量权重以更新LLM的输出。通过这种方式，LLM可以在不改变其通用知识和文本推理能力的环境下感知协作信息。详细而言，我们利用协作过滤模型提取用户和项目的嵌入表示，并将其注入一组可学习的查询中。然后，我们将协作查询转换为具有低秩属性的协作权重，并将协作权重归并到LLM的权重中，从而使LLM能够感知协作信号并生成个性化推荐，而无需进行微调或在提示中添加额外的协作标志。广泛的实验验证了CoRA能够有效地将协作信息整合到LLM中，从而提升了推荐性能。

论文地址：

https://arxiv.org/pdf/2408.10645

  Introduction to Existing LLMRec Methods
  本文重要关注的是如何直接利用已经预练习的大语言模型进行推荐。目前，重要存在两种方法：一种是直接利用大模型进行推理，通过构造提示词将所需信息到场其中，让大模型直接生成推荐结果；另一种则是微调的方法，通过高效参数微调的方式对大模型进行练习，使其能够执行推荐任务。

此外，最近一些研究发现，将用户和物品的ID输入到大模型中，能够帮助模型更好地明白推荐任务中的协同信息。详细而言，SIGIR 2023的一篇工作[1]直接将用户ID和物品ID融入到提示词中。另一项Arxiv 2023中的一篇工作[2]则是将预练习好的协同信息通过混淆编码的方式，将用户和物品的ID嵌入到输入的提示词中。

  Rethinking Fine-tuning in LLMRec
  在先前的研究中，将ID到场到模型中重要采用微调的方法。然而，这种方法存在一个问题。详细来说，ACL 2024中的一篇论文[3]指出，对大模型进行微调会影响其在各种任务上的泛化性能，并可能增强模型的泛化偏差。作者通过实验表明，在推荐数据集上进行微调后，大模型在各种语言任务上的性能明显下降。此外，它在推荐中的一些通用性能，如与文本相干的性能，也会有较严重的下降。

作者还发现，即使不进行微调，直接将用户和物品的ID混淆编码到提示词中，也会导致大模型无法正确明白输入的提示词原本的含义。

  作者进行了一项case study，即让大语言模型直接重复给出的句子。然而，之前的方法将ID嵌入到提示词中，这导致大型语言模型无法正常输出，无法正常重复。因此，作者想到不在输入层中到场ID，而是通过参数的方式将用户的协同信息到场到模型中。
  Our Proposed Method: CoRA
  本篇工作重要关注的是大语言模型的微调。起首，大语言模型中的解码器模块是关键部分，它重要由多头注意力、Add & Norm和前馈层等组件构成，这些构成了大语言模型的底子结构。
  对于协同信息的处理，作者假设已经有一个练习好的协同过滤模型，比方MF。该模型能够吸取用户和物品的输入，并基于已练习的用户和物品信息得出协同结果。

  CoRA框架起首获取用户和物品的相干信息，然后通过一组可学习的query以及cross attention层让这些query学习到协同信息。接着，输出query，并将它们输入到作为Lora的一部分，即在CoRA中作为Lora的A矩阵。同样，B矩阵也可以进行练习，由此形成新的Lora模块。最后，将这个模块插入到冻结的大语言模型中，详细位置对应于每个输入的用户和物品。
  该篇工作的研究目标是判断用户对物品的喜好水平。对于每一个用户和物品，CoRA会生成一组Lora权重，并将其到场到预练习的大语言模型中，让模型预测用户对物品的喜好。

  Experiment Analysis
  如下图所示，在团体的实验结果中，CoRA的实验效果最佳。对于经典的CoLLM，在利用类似的协同过滤模型的前提下，CoRA在性能上都优于CoLLM，这说明CoRA对协同信息的利用效率更高。

作者还进行了冷启动和暖启动的实验，发现无论是在冷启动还是暖启动的环境下，CoRA方法都能取得更好的实验效果。特殊是在亚马逊数据集上，CoRA取得了明显的性能提升。

作者还通过进行一些消融实验，验证了大语言模型对文本信息和协同信息的利用效率。如图所示，红色代表只利用ID信息，蓝色代表同时利用ID和文本信息。可以看到，仅利用ID时，CoRA实现的性能最佳，而当到场文本信息后，CoRA方法性能提升最高。而前面提到的方法中，比方将ID信息到场到提示词中，可能会破坏大语言模型对文本的明白。在MovieLens数据集上，这一点尤为明显。当利用ID时，性能体现良好。然而，到场文本后，由于ID对文本的破坏性影响，导致性能明显下降。

  Conclusion

  本文起首探讨了将协作信息与LLM的输入空间对齐所引发的问题。其次，为相识决这些问题，引入了CoRA，能够让LLM在无需微调或额外协作标志的环境下感知协作信息。CoRA通过协作权重生成器将协作信息转化为LLM的增量权重，从而有效地整合了协作信息和文本信息。广泛的实验验证了CoRA的优越性。
  References

  [1] Large Language Models are Zero-Shot Rankers for Recommender Systems. ECIR 2024.
  [2] TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation. RecSys 2023.
  [3] Junyi Li, etc. The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models. ACL 2024.

本期文章由陈研整理

近期精彩文章推荐

  超过边界，大模型如何助推科技与社会的完美结合？
   关于AI TIME
  AI TIME源起于2019年，旨在发扬科学思辨精神，约请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，增强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的情势，探讨人工智能和人类未来之间的抵牾，探索人工智能范畴的未来。
  迄今为止，AI TIME已经约请了2000多位国内外讲者，举办了逾700场活动，超800万人次观看。

  我知道你
  在看
  提出观点，表达想法，欢迎
  留言

点击 阅读原文 观看作者讲解回放！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)