阿里巴巴集团研究人员近日推出一项名为”ZeroSearch”的突破性技术，彻底改变了训练人工智能系统搜索信息的方式。这项创新技术通过模拟方法让大型语言模型（LLM）开发高级搜索功能，无需在训练过程中与真实搜索引擎交互，从而消除了对昂贵商业搜索引擎API的依赖。
ZeroSearch解决了AI行业面临的两大关键挑战:搜索引擎返回文档质量的不可预测性，以及向谷歌等商业搜索引擎进行数十万次API调用所产生的高昂成本。
研究人员在本周发表于arXiv的论文中指出:”强化学习[RL]训练需要频繁部署，可能涉及数十万个搜索请求，这会产生大量的API开销，并严重限制可扩展性。为了应对这些挑战，我们推出了ZeroSearch，这是一个强化学习框架，无需与真实搜索引擎交互即可激励LLM的搜索能力。”
阿里巴巴的方法首先采用轻量级的监督式微调，将LLM转换为能够根据查询生成相关和不相关文档的检索模块。在强化学习训练过程中，系统采用”基于课程的推出策略”，逐步降低生成文档的质量。
研究人员解释道:”我们的关键见解是，LLM在大规模预训练过程中获得了广泛的世界知识，能够根据搜索查询生成相关文档。真实搜索引擎和模拟LLM之间的主要区别在于返回内容的文本风格。”
在七个问答数据集的全面测试中，ZeroSearch不仅匹敌，甚至经常超越使用真实搜索引擎训练的模型。令人印象深刻的是，一个70亿参数的检索模块实现了与谷歌搜索相当的性能，而140亿参数的模块甚至超越了后者。
成本节省更是显著:通过SerpAPI使用Google搜索进行约64，000个查询的训练成本约为586.70美元，而在四台A100GPU上使用14B参数模拟LLM的成本仅为70.80美元，节省了88%的费用。
论文结论指出:”这证明了在强化学习设置中使用训练有素的LLM替代真实搜索引擎的可行性。”
这一突破标志着AI训练方式的重大转变。ZeroSearch表明，AI系统可以通过自我模拟而非依赖外部工具来实现功能改进，为行业带来多重益处:
研究团队已在GitHub和Hugging Face上公开了相关代码、数据集和预训练模型，鼓励行业广泛采用这一创新方法。
随着大型语言模型继续发展，ZeroSearch这样的技术预示着未来AI系统将能通过自我模拟而非依赖外部服务来开发更复杂的功能，这可能从根本上改变AI开发的经济性并减少对大型技术平台的依赖。
讽刺的是，在教AI无需搜索引擎进行搜索的过程中，阿里巴巴可能创造了一项让传统搜索引擎对AI发展不再那么重要的技术。随着这些系统变得更加自给自足，技术格局可能在未来几年内发生巨大变化。

阿里巴巴ZeroSearch技术实现AI训练成本锐减88%，彻底革新行业模式