【新智元导读】Ai2和华盛顿大学联合Meta、CMU、斯坦福等机构发布了最新的OpenScholar系统，使用检索增强的方法帮助科学家进行文献搜索和文献综述工作，而且做到了数据、代码、模型权重的全方位开源。
前有Perplexity横空出世，后有谷歌Gemini和OpenAI的SearchGPT纷纷加入。
就在11月23日，有人发现搜索引擎大佬DarinFisher正式加入OpenAI，这让人更加确信：SearchGPT只是一个开始，OpenAI也许会正式打造以LLM为基础的搜索引擎和浏览器，和谷歌展开一场正面battle。
虽然当下的LLM可以应付大多数场景下的常识问答，但在学术打工人眼中，用AI进行文献搜索依旧缺陷重重，还是传统的谷歌搜索和谷歌学术更好用。
为了填补这方面的空白，华盛顿大学NLP实验室和Ai2、Meta等机构合作，开发了专门服务科研人的学术搜索工具OpenScholar。
本质上，OpenScholar是一个进行过检索增强的语言模型，外接一个包含4500万篇论文的数据库，性能可以优于专有系统，甚至媲美人类专家。
为了方便自动化评估，团队还一道推出了全新的大规模基准ScholarQABench，覆盖了CS、生物、物理等多个学科，用于评价模型在引用准确性、涵盖度和质量的等方面的表现。
由UWNLP和Ai2两大顶流机构联手，OpenScholar在开源方面几乎做到了无懈可击。不仅放出了训练数据、代码和模型检查点，还有ScholarQABench的全部数据，以及用于专家评估的自动化脚本。
论文开头就给出了全部网址，此外团队还构建了一个公开可用的搜索demo，基于一个参数量为8B的语言模型，综合了超过100万篇CS领域的专业文献。
OpenScholar介绍
虽然LLM在成为科研助手方面非常有前景，但也面临着重大挑战，包括幻觉、过于依赖过时的预训练数据，并且缺乏透明的信息出处，条条对科研领域都是重大弊病。
就拿幻觉来说，实验中让GPT-4引用最新文献时，它在CS、生物医学等领域伪造引用的情况达到了78%～90%。
检索增强（retrieval-augmented）的语言模型可以在推理时检索并集成外部知识源，从而缓解上述问题。然而，许多此类系统依赖于黑盒API或通用的LLM，既没有针对文献综合的任务进行优化，也没有搭配适合科研的开放式、领域特定的检索数据库。
此外，LLM在科研文献综合任务上的评估也存在限制，现有的基准大多规模较小或只针对单个学科，或者使用了过于简化的任务（如选择题问答）。
OpenScholar概述、ScholarQABench概述和自动化&人类专家评估结果
模型概述
对于OpenScholar而言，问题定义如下：
然后，负责生成的语言模型根据段落和输入查询x产生输出y以及相应的引文,这个过程可以形式化表示为：
其中，中但每个ci对应检索到的特定段落，负责生成的LM可以被灵活替换为各种县城的模型，比如GPT-4o。
看起来，OpenScholar的检索和推理流程基本复刻了经典RAG的流水线，但团队做出了以下两方面的贡献：
-新训练出了小而高效的生成模型OpenScholar-LM
-开发了自反馈检索增强推理（elf-feedbackretrieval-augmentedinference），以提高可靠性和引用准确性
检索与推理
为了应对这些挑战，OpenScholar引入了一种带有自我反馈的迭代生成方法，包括三个步骤：（1）初始响应和反馈生成以输出初始草稿y0以及一组反馈；(2)使用额外的搜索，根据上一步的反馈迭代改进y0，以及(3)引文验证。
模型训练
由于缺乏针对该问题的训练数据，构建能够有效综合科学文献的强大LM非常具有挑战性，之前的大多数工作并没有设置开放式检索，而且是单论文任务，而且依赖于没有开源的专有模型，这对复现性和推理成本提出了挑战。
研究团队想到了采用上述的推理pipeline，通过自反馈合成高质量的训练数据，训练出「小而美」的OpenScholarLM模型，具体训练流程如下图所示。
训练数据的生成主要包括三个步骤：
-从数据库中筛选出最高引用量的论文
-使用OpenScholar推理pipeline生成高质量响应
尽管合成数据是有效且可扩展的，但也可能包含幻觉、语句重复、指令遵循有限等问题，因此在上述步骤之后，团队还引入数据过滤步骤，包括「成对过滤」（pairwise-filtering）和标题过滤。判断并筛选出较高质量的输出。
从上述的合成管道中，可以得到三种类型的训练数据：答案生成(x→y)，反馈生成(y0→)，以及反馈合并(yt1，ft→yt)。论文指出，在训练期间结合中间结果和最终输出有助于较小的语言模型学习生成更有效的反馈。
最后，研究人员将上述的合成数据与现有的通用领域+科学领域的指令调优数据混合，并确保50%的训练数据来自科学领域。在这些数据上，团队将Llama3.18BInstruct训练成了OpenScholarLM。
全新基准ScholarQABench
为了应对这些挑战，研究人员整理了一个包含2967个文献综合问题的数据集，以及由专家撰写的208个长篇回答，涵盖计算机科学、物理、生物医学和神经科学等4个学科。
此外，基准中引入了多方面的评估方案，结合了自动指标和人工评估，以衡量引文准确性、事实正确性、内容覆盖率、连贯性和整体质量，确保评估的稳健和可重复性。
SchlarQA-CS的数据样例和评估概述
评估结果
评估中使用了开放权重模型Llama3.1（8B、70B）以及专有模型GPT-4o（gpt-4o-2024-05-13）。
首先，在单论文任务中，每个LM在不连接外部检索的情况下独立生成答案，并提供所有参考论文的标题。如果参考论文确实存在，则检索相应摘要以用作引文。
对于多论文任务，团队还进一步评估其他专有系统，包括PerplexityPro和PaperQA2，后者是一个并发文献综述智能体系统，使用GPT-4o进行重排、总结和答案生成。
具体的评估结果如下表所示，其中+OSDS表示外接了数据库OpenScholar-DataStore并检索到topN段落拼接到原始输入中；OS-8B模型经过重新训练，OS-70B和OS-GPT-4o仅仅使用了团队自定义的推理pipeline。
总体而言，OpenScholar实现了SOTA性能，大大优于GPT-4o和相应的标准RAG版本，以及PaperQA2等专用的文献综述系统。
在单篇论文任务中，OpenScholar始终优于其他模型。无论是否有检索增强，OS-8B和OS-70B均优于原来的Llama3.1模型，OS-70B在PubMedQA和QASA上甚至可以对打GPT-4o。
此外，OS-8B、OS-70B和OS-GPT4o在多论文任务中也表现出强大的性能，OS-GPT4o在Scholar-CS中比单独的GPT-4o提高12.7%，比标准RAG版本提高了5.3%。结合了重新训练过的OS-8B，OpenScholar的性能显著优于使用现成的Llama3.18B，说明了特定领域训练的优势。
甚至，在多论文任务的很多指标上，OpenScholar-8B的性能远远优于GPT-4o、PerplexityPro和PaperQA2。值得注意的是，通过利用轻量的bi-encodeer、cross-encoder构建高效的检索pipeline，OpenScholar-8B和OpenScholar-GPT4o显著降低了成本，在保持高性能的同时比PaperQA2便宜了几个数量级。
无论是单论文还是多论文任务，没有检索增强的模型几乎都表现的相当糟糕，难以生成正确的引用，甚至会产生严重的幻觉，而增加了检索之后都能大幅提升性能。
如表3所示，在没有检索增强的情况下，虽然GPT-4o和Llama等模型可以生成看起来靠谱的参考文献列表，但其中78-98%的引文都是捏造的，而且这个问题在生物医学领域更加严重。即使指向了真实论文，大多也没有相应摘要的证实，导致引文准确性接近于零。
除了在ScholarQABench上进行自动评估外，团队还与来自计算机科学、物理学和生物医学等领域的16名科学家合作，进行了详细的专家评估。
他们根据ScholarQABench中专家编写108个对文献综述问题的答案，对OpenScholar的输出进行了成对和细粒度的评估。结果发现，无论是使用GPT-4o还是经过训练的8B模型，OpenScholar的表现始终优于专家编写的答案，胜率分别为70%和51%。
相比之下，没有检索的单独GPT-4o模型被认为不如人类专家有帮助，胜率仅为31%。这表明OpenScholar生成的输出更加全面、有条理，并且对于文献综述非常有用，不仅可以与专家撰写的答案相媲美，而且在某些情况下甚至超过了专家。
消融实验
为了研究OpenScholar各个组件的有效性，作者进行了详细的消融实验，涉及推理期的重排、反馈、查找文献出处等步骤，并尝试不进行任何训练，直接使用原始的Llama3-8B模型。
如下图所示，删除这些组件会显著影响模型输出的整体正确性和引用准确性。值得注意的是，删除重排会导致模型性能大幅下降；相比8B模型，GPT-4o对删除反馈循环更加敏感，这表明更强大的模型可以从自反馈循环中受益更多。
此外，取消论文出处的查找（attribution）会对引文准确性和最终输出正确性产生负面影响；经过训练的OS-8B与原始模型之间也存在显著性能差距，这表明，对高质量、特定领域数据的进一步训练是构建高效的、针对专门任务的语言模型的关键。
结论与局限性
尽管OpenScholar在ScholarQABench在评估中表现出了强大的性能，能够成为支持科研人的效率工具，但负责标注和评估的专家依旧发现了一些局限性。
未来的工作可以进一步探索如何改进OpenScholar-8B的训练。尽管OpenScholar-GPT4o具有竞争力，但依赖于OpenAI的专有黑盒API，无法保证之后仍能精确复现当下的结果。
此外，数据方面也存在诸多繁琐且棘手的问题。
这种数据集由于规模较小，更容易被注释者的专业知识所影响，从而引入统计方差和潜在偏差。未来的研究需要探索，如何扩大ScholarQABench的规模和范围，实现更加自动化的数据收集和标注pipeline。