每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

ChatGPT自2022年11月30日发布以来，既受到了热烈的欢迎，也遭遇了不少反对声音。很快就明显地发现，人们想要向AI提出他们通常会问Google的那些问题——而ChatGPT往往无法给出答案。

问题层出不穷。ChatGPT的回答过时了，不引用来源，而且经常凭空想象出新的不准确的细节。华盛顿大学计算语言学实验室的主任Emily Bender当时被引用说，AI搜索是“星际迷航幻想，你有一个无所不知的电脑，你可以问问题。”Perplexity最初希望构建一个由AI驱动的Text-to-SQL工具。但在公司的Slack频道中，开始酝酿着一些不同的东西。

Perplexity这个创业公司成立于2022年8月，意外地进入了一个赛道——然后迅速向构建一个每日更新并通过引用多个来源来响应查询的AI驱动搜索引擎冲刺。它现在每月有超过1000万用户，并且最近获得了Jeff Bezos的投资。

“我认为Google是人类迄今为止构建的最复杂的系统之一。就复杂性而言，它甚至可能超越了登月，”Perplexity.ai的联合创始人兼CTO Denis Yarats说。

最初，它是一个Slack机器人Perplexity最初希望构建一个由AI驱动的Text-to-SQL工具，Yarats说，让开发人员以自然语言查询和编码SQL。但在公司的Slack频道中开始酝酿着不同的东西——一个结合了OpenAI的大型语言模型（LLMs）的聊天机器人。然后，在2022年11月下旬，ChatGPT公开发布，成为历史上增长最快的消费应用程序，在两个月内达到了1亿用户。人们向ChatGPT提出了各种问题，其中很多它都无法回答。但Yarats说，Perplexity的Slack机器人可以。

“字面上在两天内，我们创建了一个简单的网站，将其连接到我们Slack机器人的后端基础设施，并将其作为一个有趣的演示发布，”Yarats说。“老实说，它工作得并不是很好。但鉴于有这么多人喜欢它，我们意识到这里有一些东西。”

一段时间以来，Perplexity继续致力于其Text-to-SQL工具。它还创建了一个Twitter搜索工具，BirdSQL，让用户找到超级具体的推文，比如“Elon Musk发给Jeff Bezos的推文”。但AI驱动的搜索引擎脱颖而出，在几个月内成为了公司新的——也是艰巨的——使命。

AI驱动搜索如何成为可能？
这引出了一个明显的问题。Perplexity，一家不到两年前由四个人创立的公司（现已发展到大约40人），是如何解决看似让AI在搜索方面表现糟糕的问题的？

二十年来，失败的Google竞争者已经证明“还不错”是不够的。这就是AI提供的捷径。

检索增强生成，或(RAG)，是公司努力的一个支柱。由Meta、伦敦大学和纽约大学的研究人员发明，RAG将生成性AI与一个“检索器”配对，后者可以找到并引用向量数据库中的特定数据，然后传递给“生成器”以产生响应。“我确实同意RAG[对于搜索是有用的]，”AI基础设施公司Weaviate的联合创始人兼CEO Bob van Luijt说。“[RAG]所做的是允许普通开发人员，不仅仅是在Google工作的人，能够不费太多力气就构建这些类型的AI原生应用程序。”他指出，实现RAG的资源在AI开发者资源HuggingFace上是免费可用的。这导致了广泛的采用。Weaviate使用RAG来帮助其客户在专有数据上基础知识的AI代理。Nvidia使用RAG减少ChipNeMo中的错误，这是一个旨在帮助芯片设计师的AI模型。Latimer使用它来对抗种族偏见并放大少数群体的声音。而Perplexity则将RAG用于搜索。但为了让RAG有所用处，模型必须有东西可以检索，这里Perplexity.ai采用了更传统的搜索技术。该公司使用自己设计的网络爬虫，称为PerplexityBot，来索引互联网。

“当试图在最新信息上取得优势，比如新闻……我们将无法每天或每小时重新训练一个模型，”Yarats说。但在Google的规模上爬行网络也不实际；Perplexity缺乏科技巨头的资源和基础设施。为了管理负载，Perplexity将结果分成“领域”，这些领域以不同的紧迫性进行更新。新闻网站每小时更新一次以上。不太可能快速变化的网站，则每几天更新一次。

plexity还利用了来自Transformers（BERT）的双向编码器表示，这是Google在2018年创建的一个NLP模型，反过来用来更好地理解网页。Google将BERT开源，为Perplexity等公司提供了构建它的机会。“它让你得到一个简单的排名。它不会像Google那样好，但还是不错的，”Yarats说。但二十年来，失败的Google竞争者已经证明“还不错”是不够的。这就是AI提供的捷径。

“对于Google来说，有很多约束。最大的是广告。主页的房地产非常优化。”

LLMs非常擅长解析文本以找到相关信息——实际上，发现模式是它们的全部事情。这允许LLM产生对提示的有说服力的文本响应，但它也可以用来有效地解析然后呈现LLM检查的信息。你可以通过将PDF上传到ChatGPT、Google Gemini或Claude.ai自己尝试这一点。LLM可以在几秒钟内摄取文档，然后回答有关文档的问题。

Perplexity本质上对网页做同样的事情，从而根本改变了搜索的工作方式。它不试图排名网页以将最佳页面放在查询列表的顶部，而是分析来自良好排名页面索引的可用信息以找到最相关的内容并生成答案。这就是秘密武器。

“你可以把它想象成LLM做最后的排名任务，”Yarats说。“[LLMs]不关心[SEO]分数。他们只关心语义和信息。这更加无偏见，因为它基于实际的信息增益，而不是Google工程师出于任何原因优化的信号。”当然，这引出了一个问题：Google也可以做到这一点吗？

Yarats说，Perplexity意识到面对Google的困难，因此，专注于搜索的“分布头部”。Perplexity不提供图像搜索，不缓存旧网页，不允许用户将结果缩小到特定日期或时间，也不包括购物结果，仅举几个Google功能例子，这些功能很容易被视为理所当然。他还认为Google将面临的问题不在于其技术执行，而在于其现有的高度盈利的广告业务。

“对于Google来说，有很多约束，”他说。“最大的是广告。主页的房地产非常优化。你不能只说，让我们移除这个广告，我要显示一个答案代替。我们没有那个。我们可以实验。”