百度的最新技术iRAG，就像是给AI开了挂，让图片生成不再是“睁眼说瞎话”。这篇文章带你一探究竟，看看百度是如何用iRAG技术让AI变得更加靠谱，甚至可能颠覆我们对AI绘图的认知。

就个人而言，我对百度并没有多少好感，百度给我的印象是：啥都爱争第一的营销型公司，不管是AI、元宇宙概念还是这波大模型革命，百度始终是中国科技风向的领跑者，从2017年提出[All in AI]的口号，到元宇宙产品[息壤]、大模型产品[文心一言]的发布，总是遥遥领先于其他公司，这点腾讯、阿里、字节也得甘拜下风，所以百度身上有很多“国内第一”的标签，但“第一”并非等于“最好”，单论国产大模型的使用体验，个人首推阿里[通义]、月之暗面的[kimi]，至于百度的[文心一言]的使用效果实在难以评价，所以跑得快的百度在技术上我一直看不太上。

不过最近看了李彦宏在百度世界2024大会上的演讲，让我对百度的态度有了些许改观。在李彦宏[应用来了]的演讲中，提到了一个检索增强的文生图技术（iRAG），这个技术解决了大模型在图片生成上的幻觉问题，极大提升实用性，由于之前这个技术名词在行业里较少提及，所以本文主要想对这块内容进行科普；至于演讲的其他部分诸如百度文心大模型的日均调用量超15亿次、发布无代码工具“秒哒”等，这些属于对外宣发和行业跟进内容，没有很大的参考价值，大家感兴趣可自行了解。

01. 什么是RAG？

讲iRAG之前，我们先看看什么是RAG？

两年前ChatGPT横空出世，尽管其能力已经足够让人惊艳，但“一本正经地胡说八道”仍然时有出现。这种现象被称为“幻觉”，如果不能把“幻觉”出现的概率降到足够低，大模型就无法真正从[好用]变成[有用]。

所以行业为了解决幻觉问题，通用的解决方案是增加RAG（Retrieval-Augmented Generation，检索增强生成）。

RAG的基本思想是通过从外部知识库中检索相关信息，并将这些信息作为额外的上下文提供给语言模型，从而增强模型生成文本的能力。

RAG的工作流程通常包括以下几个步骤：

检索：当用户提出一个问题或请求时，RAG首先从一个预先构建的知识库中检索相关信息。这个知识库可以是结构化的数据库、非结构化的文档集合或其他形式的数据源。检索过程通常使用向量搜索技术，如FAISS或Milvus，将文本转化为向量，并在向量空间中找到最相似的条目。

增强：检索到的信息会被整合到一个上下文模板中，这个模板通常包含用户的原始查询。这样，检索到的信息就成为了生成模型的一部分输入，增强了模型对问题的理解和回答能力。

生成：最后，增强后的上下文被输入到大语言模型中，模型根据这些信息生成最终的响应。生成的响应不仅基于模型自身的知识，还结合了检索到的外部信息，从而更加准确和丰富。

举个更容易理解的例子，没有RAG之前的大模型是闭卷考试的学生，难免会出现差错，而RAG让大模型带上各种参考资料，答题的同时可以翻阅与题目有关的材料，这样回答的结果肯定是更准确。

02. iRAG为什么很重要？

了解了RAG，那么iRAG（image based RAG）就可以理解是大模型在图像领域的RAG。

回顾过去两年，不管是AI搜索还是AI客服，本质都是检索增强生成（RAG）的延伸，目前在文字层面的RAG已经做得很好，基本让大模型消除了幻觉；但在图像等多模态方面，和RAG的结合还不够。

各种基于大语言模型的文生图还有比较严重的幻觉，尤其是针对现实生活中特定地点、物品和人物的描述和绘画，常常会出现张冠李戴的幻觉问题，让生成的图片“一眼假”，极大地影响了AI的实用性。

百度文心一言旧模型：唐伯虎点秋香

所以不管是Midjouney、Stable Diffusion，还是前段时间很好的Flux等各类 AI 绘画模型，它们的本质都是在培养一个抽象的、超现实主义的艺术家，对于现实世界了解不足，生产炫酷、天马行空的画作是它们的特长，但是艺术这个东西往往和实用存在矛盾，我相信很多朋友应该和我一样都对非写实的画作很难鉴赏。

不过人在物质需求极大满足后才会追求精神需求，所以对于大众来说，AI能帮我们提升生产力和生产效率才是最关键的，这点我认同李彦宏的看法：iRAG技术极大地提高了AI生成图片的可用性。比如在品牌宣传上，以前拍一组海报动辄大几十万，但现在的创作成本接近于0。此外，在影视作品、漫画作品、连续画本、海报制作等应用场景中，iRAG都可以大幅降低创作成本。

新文心大模型生成的大众揽巡汽车飞跃长城的图片。车型车标、长城，均未出错

所以，带有iRAG的图像大模型就从艺术家变成了人类美工，结合现实世界的知识，消除了大模型的幻觉，这也是AI应用爆发的基础。

03. iRAG可能是新的文生图范式

虽然AI绘画领域以往流量最大、噱头最多的那些超现实的效果图，人们往往对特效流的东西着迷，但这部分也容易昙花一现，无法体现AI的真正价值，准确和可控才是文生图领域一直以来最大的难题。

对于这个难题，百度目前是提出了自己的解决方案：根据文本RAG的原理，我猜测百度的iRAG可能是，利用百度搜索的亿级图片资源，在语义理解和视觉表现的转换上下功夫，把用户的文本需求和图像先进行对齐，避免了张冠李戴，然后再根据prompt中的其他要求对已检索到的图像进行重绘和组合，这样就能实现精准的要求。

有朋友说，iRAG的原理看起来是抠图然后拼接，这点我不是很赞同，比如：马斯克在房间吃蛋糕，如果只是简单的抠图，那当前的要求在互联网图像上并没有对应的资源怎么办呢？所以百度肯定还是做了很多工程化的处理，我能看见至少图像重绘的环节是一定存在的，并非简单抠图。当然这部分的工程应该是iRAG的重中之重，这里的细节百度并未公布，所以我才说很可能百度会引领新的文生图范式。