近年来，大模型在处理复杂任务时展现出强大的推理能力。中国科学技术大学熊辉教授团队与合作者注意到，尽管其在众多实际应用中取得了成功，它们仍存在一些明显的问题：比如知识的滞后性、生成信息的可靠性，以及决策过程的不透明性。
相比之下，作为一种大规模结构化的知识库，知识图谱则可以提供大量的显式和可编辑的现实世界知识的描述，这些特性使得知识图谱能够弥补大模型的缺点。
尽管目前的知识图谱增强大模型范式能够为更全面地融合知识图谱和大模型二者的知识提供机会，但是在面临许多复杂问题时，可能仍然无法正确规划推理路径的探索。
中国科学技术大学陈力以博士是第一作者，熊辉教授担任通讯作者。
克服现有知识图谱增强大模型范式的局限性
为了更深入地理解现有大模型范式的局限性，该团队挑选了一些典型的推理错误的案例，并进行了定量和定性的分析。该课题组通过这些分析发现，现有的知识图谱增强大模型范式的局限性主要在以下几个方面：
因此，复杂问题的推理可能严重依赖于自适应探索和错误推理路径的自我纠正。
针对上述问题，该团队设计了一种新的自我纠正自适应规划的知识图谱增强大模型范式，称为Plan-on-Graph（PoG），它能够自适应地规划图上游走的探索范围，并且具备纠正错误推理路径的能力。
通过以下的具体设计，有效缓解了上述问题造成的瓶颈：
该研究首次将自我纠正机制和自适应知识图谱探索设计到知识图谱增强大模型中，这一新型范式不仅提升了知识图谱与大模型结合的灵活性和准确性，还极大地优化了信息检索和决策制定的效率。
PoG的自适应自我纠正规划机制
在PoG中，研究人员设计了三种机制以实现自适应的自我纠正规划：
2.Memory（记忆）：存储在记忆中的信息提供了历史检索和推理信息以供反思。他们记录并更新子图，为大模型提供所有检索到的实体，以初始化新的探索和自我纠正路径。
记录推理路径，以保留实体之间的关系，供大模型推理并允许路径纠正。此外，还记录子目标状态，使大模型能够识别每个条件的已知信息，并在反思阶段减轻其遗忘。
3.Reflection（反思）：为了确定是否继续或自我纠正当前的推理路径，他们设计了一种反思机制，利用大模型根据记忆中的信息判断是否考虑其他实体进行新的探索，并决定回溯到哪个实体以进行自我纠正。
并且，研究人员选择了一些公开的真实世界知识图谱问答数据集进行实验，以验证PoG的有效性和效率。
实验结果表明，PoG不仅在性能上能够显著提升，还在效率上取得了重大突破，成为了当前最SOTA（State-of-the-Art）的知识图谱增强大模型的方法。
在性能方面，对于不同的底层大模型，PoG均大幅超过最先进的基准，可以实现11.4%的性能提升。
并且PoG还证明，结合知识图谱能够有效提升大模型性能的价值，提升的程度依靠于方法的设计，最多能够提升201.4%。
引领多领域智能化升级
PoG作为一种新型的自我纠正自适应规划范式，通过结合大型语言模型和知识图谱的优势，解决了现有方法中存在的问题，具有广泛的应用前景。
无论是在智能问答系统、推荐系统、自动文本生成、医疗诊断辅助还是法律咨询等领域，PoG都能够显著提升系统的性能和用户体验，为实际应用带来巨大的价值。
最直接的应用就是智能问答系统，不论是通用的问答还是面向特定领域的问答，都可以使用外部的知识图谱来实现大模型的增强推理。
传统的问答系统往往依赖于预定义的知识库和规则，对于复杂和长尾问题的处理能力有限。
PoG通过自适应地探索知识图谱中的推理路径，并能够自我纠正错误的推理路径，大大提高了系统的准确性和响应速度。
另一方面，PoG在推荐系统中也可以实现更加精准和高效的推荐。传统的推荐系统主要依赖于用户的历史行为数据，对于冷启动问题和长尾物品推荐效果不佳。
PoG通过知识图谱中的丰富信息，为用户提供更加个性化和精准的推荐。
例如，在电商领域，PoG可以根据用户的购买历史和浏览行为，结合商品的知识图谱信息，推荐与其兴趣和需求高度匹配的商品。
并且，在日常辅助的材料撰写等文本生成应用中，PoG可以显著提升生成内容的质量和多样性。
传统的文本生成模型往往依赖于预训练的语料库，生成的文本可能存在逻辑不连贯、信息不准确等问题。
此外，PoG在一些特定的领域中也可以得到应用，比如在医疗诊断辅助中的应用可以显著提高诊断的准确性和效率，在法律咨询领域的应用可以为用户提供更加专业和准确的法律建议。
未来，随着技术的不断发展和完善，PoG的应用范围也可以进一步扩大，为各行各业的发展提供强有力的支持。
尽管在增强大模型推理能力的研究中取得了一些进展，但这项技术在处理更加复杂的问题时，仍存在一些局限性。
为了进一步提升PoG的性能和应用范围，该课题组已经制定了几个后续研究计划：
1.提升大模型的置信度
目前，大模型在确定所需信息、提取信息所需的步骤数、何时进行动态更新，以及当前信息是否足够等方面仍然缺乏足够的置信度。为了解决这一问题，他们计划在未来的工作中专注于评估大模型的置信度。
2.提高效率
3.处理非标准化查询
对于不太标准化的查询，现有的大模型可能由于自身能力的限制而无法充分理解语义，从而导致效果下降。为了解决这个问题，研究人员将采用最先进的查询重写方法或与用户进行交互来细化具体的查询意图。
他们希望通过这些后续研究，能够进一步提升PoG的性能，从而应用在更广泛的场景。