博客
关于我
- Nature正刊都在用的idea:LLM+知识图谱
阅读量:797 次
发布时间:2023-04-05

本文共 2761 字,大约阅读时间需要 9 分钟。

2025深度学习发论文与模型涨点之——LLM+知识图谱

近年来,大型语言模型(LLMs)与知识图谱(Knowledge Graphs, KGs)的融合研究已成为人工智能领域的前沿方向。LLMs凭借其强大的生成能力和语义理解优势,在自然语言处理任务中表现出色;而知识图谱则以结构化的方式存储实体及其关系,提供可解释的符号化知识表示。然而,两者各自存在显著局限性:LLMs面临幻觉(hallucination)、知识更新滞后以及推理过程不透明等问题;知识图谱则受限于构建成本高、覆盖率不足以及语义灵活性欠缺等挑战。因此,如何实现LLMs与KGs的协同互补,构建兼具神经网络的泛化能力与符号系统可解释性的新型架构,已成为学术界与工业界共同关注的核心议题。

论文精我整理了一些时间序列可解释性【论文+代码】合集,需要的同学公人人人号【航识无涯学术】发123自取。

论文1:Think-on-Graph:知识图谱上大型语言模型的深度和负责任的推理

方法:

LLM ⊗ KG 范式:提出了一种新的 LLM 和知识图谱(KG)紧密结合的范式,将 LLM 视为代理,通过与知识图谱的交互式探索来执行推理。

Think-on-Graph(ToG)框架:实现了 LLM ⊗ KG 范式,通过迭代执行束搜索(beam search)来发现最有希望的推理路径,并返回最有可能的推理结果。

动态探索和推理:ToG 在知识图谱上动态探索多个推理路径,并根据当前推理路径的评估结果决定是否继续探索或生成答案。

知识可追溯性和可修正性:利用 LLM 的推理和专家反馈,ToG 提供了知识的可追溯性和可修正性,能够追溯推理路径并修正错误。

创新点:

深度推理能力:ToG 通过从知识图谱中提取多样化的多跳推理路径,显著提升了 LLM 在知识密集型任务中的深度推理能力。例如,在 WebQSP 数据集上,ToG 的准确率达到了 76.2%,比仅使用 LLM 的方法(如 CoT)高出 14.0%。

知识的可追溯性和可修正性:ToG 明确的推理路径提高了 LLM 推理过程的可解释性,并允许追溯和修正模型输出的来源。这不仅提高了推理的透明度,还通过用户反馈进一步提升了知识图谱的质量。

灵活性和效率:ToG 是一个即插即用的框架,可以无缝应用于不同的 LLMs 和知识图谱,无需额外的训练成本。此外,ToG 通过减少对大型 LLM 的依赖,降低了部署成本。例如,使用较小的 Llama-2 模型时,ToG 的性能甚至超过了大型的 GPT-4 模型。

性能提升:ToG 在多个数据集上实现了显著的性能提升。例如,在 GrailQA 数据集上,ToG 的准确率达到了 81.4%,比之前的最佳方法(如 StructGPT)高出 11.4%。

论文2:OneEdit:一个神经符号协作式知识编辑系统

方法:

神经符号知识编辑:OneEdit 结合了符号知识图谱(KG)和神经大型语言模型(LLM),通过自然语言交互实现知识管理。

三个主要模块:

  • 解释器(Interpreter):负责理解用户的自然语言输入,并将其转换为知识图谱中的知识三元组。
  • 控制器(Controller):管理来自不同用户的编辑请求,利用知识图谱解决知识冲突,并防止有害的知识攻击。
  • 编辑器(Editor):利用控制器提供的知识来编辑知识图谱和 LLM。

知识冲突解决:通过引入知识图谱的回滚机制,OneEdit 能够处理知识冲突,确保知识的一致性和准确性。

知识增强:通过知识图谱的逻辑规则,OneEdit 能够增强编辑后的知识,提高模型对多跳推理问题的理解能力。

创新点:

知识冲突解决:OneEdit 通过知识图谱的回滚机制,有效解决了知识冲突问题。例如,在处理多用户编辑时,OneEdit 的局部性(Locality)指标达到了 0.952,显著高于其他方法(如 ROME 的 0.040)。

知识增强:通过逻辑规则增强编辑后的知识,OneEdit 提高了模型对多跳推理问题的理解能力。例如,在 GPT-J-6B 模型上,OneEdit 的单跳推理(One-Hop)指标达到了 0.958,比未使用逻辑规则的方法高出 0.557。

性能提升:OneEdit 在多个数据集上实现了显著的性能提升。例如,在处理美国政治人物数据集时,OneEdit 的平均性能指标达到了 0.973,比其他方法(如 ROME 和 MEMIT)高出 0.247。

效率提升:OneEdit 通过空间换时间的编辑策略,显著降低了内存和时间开销。例如,在处理 GPT-J-6B 模型时,OneEdit 的时间开销比 MEMIT 降低了 40%,内存开销比 GRACE 降低了 6GB。

论文3:Plan-on-Graph:知识图谱上大型语言模型的自校正自适应规划

方法:

自校正自适应规划范式:提出了 Plan-on-Graph(PoG),一种新的自校正自适应规划范式,通过分解问题为多个子目标,并重复探索推理路径、更新记忆和反思是否需要自校正错误的推理路径。

三个关键机制:

  • 引导(Guidance):通过分解问题为子目标,PoG 利用问题中的条件更好地指导自适应探索。
  • 记忆(Memory):记录和更新子图、推理路径和子目标状态,为反思提供历史检索和推理信息。
  • 反思(Reflection):基于记忆中的信息,PoG 判断是否需要自校正当前的推理路径,并决定回溯到哪些实体以启动新的探索。

动态推理路径探索:PoG 通过灵活的探索宽度和基于问题语义的自适应探索,动态地探索知识图谱中的推理路径。

自校正机制:PoG 在发现信息不足时,能够通过反思机制自校正错误的推理路径,避免在错误路径上继续探索。

创新点:

自校正机制:PoG 是首个引入自校正机制的 KG 增强型 LLM,能够动态地纠正错误的推理路径。例如,在 CWQ 数据集上,PoG 的准确率达到了 63.2%,比不使用自校正机制的方法(如 ToG)高出 5.1%。

动态推理路径探索:PoG 通过灵活的探索宽度和基于问题语义的自适应探索,显著提高了推理效率。例如,在 WebQSP 数据集上,PoG 的平均 LLM 调用次数比 ToG 降低了 43.4%,推理时间缩短了 73.8%。

性能提升:PoG 在多个数据集上实现了显著的性能提升。例如,在 GrailQA 数据集上,PoG 的准确率达到了 84.7%,比之前的最佳方法(如 ToG)高出 3.3%。

效率提升:PoG 在推理过程中显著降低了 LLM 的调用次数和时间开销。例如,在 CWQ 数据集上,PoG 的总 token 消耗比 ToG 降低了 15.6%,推理时间缩短了 76.0%。

转载地址:http://qprfk.baihongyu.com/

你可能感兴趣的文章
MySQL 证明为什么用limit时,offset很大会影响性能
查看>>
Mysql 语句操作索引SQL语句
查看>>
MySQL 误操作后数据恢复(update,delete忘加where条件)
查看>>
MySQL 调优/优化的 101 个建议!
查看>>
mysql 转义字符用法_MySql 转义字符的使用说明
查看>>
mysql 输入密码秒退
查看>>
mysql 递归查找父节点_MySQL递归查询树状表的子节点、父节点具体实现
查看>>
mysql 里对root及普通用户赋权及更改密码的一些命令
查看>>
Mysql 重置自增列的开始序号
查看>>
MySQL 错误
查看>>
MySQL 面试,必须掌握的 8 大核心点
查看>>
MySQL 高可用性之keepalived+mysql双主
查看>>
MySql-2019-4-21-复习
查看>>
mysql-connector-java各种版本下载地址
查看>>
mysql-group_concat
查看>>
MySQL-redo日志
查看>>
MySQL-【1】配置
查看>>
MySQL-【4】基本操作
查看>>
Mysql-丢失更新
查看>>
Mysql-事务阻塞
查看>>