Vertex AI RAG Engine：开发者工具

生成式人工智能和大型语言模型 (LLM) 正在改变行业，但两个关键挑战可能阻碍企业采用：幻觉（生成不正确或无意义的信息）和训练数据之外的有限知识。检索增强生成 (RAG) 和基础通过将法学硕士连接到外部数据源来提供解决方案，使他们能够访问最新信息并生成更真实和相关的响应。

这篇文章探讨了 Vertex AI RAG Engine 以及它如何帮助软件和 AI 开发人员构建强大、扎实的生成式 AI 应用程序。

什么是 RAG？为什么需要它？

RAG 从知识库中检索相关信息并将其提供给法学硕士，使其能够生成更准确、更明智的答复。这与仅仅依赖法学硕士预先训练的知识形成鲜明对比，这些知识可能已经过时或不完整。 RAG 对于构建企业级 Gen AI 应用程序至关重要，这些应用程序需要：

• 准确性：最大限度地减少幻觉并确保反应是基于事实的。

• 最新信息：访问最新数据和见解。

• 领域专业知识：利用专门的知识库来处理特定的用例。

RAG 与接地与搜索

• RAG：一种检索相关信息并向法学硕士提供相关信息以生成回复的技术。这些信息可以包括新鲜信息、主题和上下文或基本事实。

• 接地：通过将人工智能生成的内容锚定到经过验证的信息源，确保其可靠性和可信度。接地可以使用 RAG 作为一种技术。

• 搜索：一种基于高级人工智能模型支持的文本或多模式查询从数据源快速查找和提供相关信息的方法。

Vertex AI RAG 引擎简介

Vertex AI RAG Engine 是一项托管编排服务，可简化检索相关信息并将其提供给法学硕士的复杂流程。这使得开发人员能够专注于构建应用程序而不是管理基础设施。

Vertex AI RAG Engine 的主要优势：

• 易于使用：通过简单的 API 快速入门，从而实现快速原型设计和实验。

• 托管编排：处理数据检索和LLM集成的复杂性，将开发人员从基础设施管理中解放出来。

• 自定义和开源支持：可以从各种解析、分块、注释、嵌入、矢量存储和开源模型中进行选择，也可以自定义组件。

• 高质量的 Google 组件：利用 Google 的尖端技术实现最佳性能。

• 集成灵活性：连接至 Pinecone、Weaviate 等各种矢量数据库，或使用 Vertex AI 进行矢量搜索。

Vertex AI RAG：一系列解决方案

Google Cloud 提供多种 RAG 和校验解决方案，可满足不同程度的复杂度和定制需求：

• Vertex AI 搜索：完全托管的搜索引擎和检索器 API，非常适合需要高开箱即用质量、可扩展性和细粒度访问控制的复杂企业用例。它简化了与不同企业数据源的连接，并支持跨多个源进行搜索。

• 完全 DIY RAG：对于寻求完全控制的开发人员，Vertex AI 提供单独的组件 API（例如文本嵌入 API、排名 API、基于 Vertex AI 的基础）来构建自定义 RAG 管道。这种方法提供了最大的灵活性，但需要大量的开发工作。如果您需要非常具体的自定义或想要与现有 RAG 框架集成，请使用此选项。

• Vertex AI RAG 引擎：对于寻求易用性和定制之间平衡的开发人员来说是最佳选择。它可以在不牺牲灵活性的情况下实现快速原型设计和开发。

RAG Engine 的常见行业用例：

1. 金融服务：个性化投资建议和服务风险评估：

问题：财务顾问需要快速综合大量信息（客户资料、市场数据、监管文件和内部研究），以量身定制投资建议，提供准确的风险评估。手动审核所有信息既耗时又容易出错。

RAG Engine 解决方案：RAG Engine 可以提取并索引相关数据源。随后，财务顾问可以在系统中查询客户的具体资料和投资目标。RAG Engine 将根据相关文件（包括支持建议的引文），并基于证据提供简明的回复。这提高了顾问的工作效率，降低了人为错误风险，并增强了建议的个性化程度。该系统还可以根据注入数据中的信息，标记潜在利益冲突或监管违规行为。

2. 医疗保健：加速药物发现和开发个性化治疗计划：

问题：药物研发和个性化医疗重度依赖大量临床试验数据集、研究论文、患者记录和遗传信息的分析工作。筛选这些数据以确定潜在药物靶点、预测患者对治疗的反应，或制定个性化治疗计划都具有极大挑战性。

RAG Engine 解决方案：通过采取适当的隐私和安全措施，RAG 引擎可以提取和索引大量生物医学文献和患者数据。随后，研究人员可以提出复杂问题，如“药物 X 对基因型 Y 患者有什么潜在副作用？”RAG Engine 将综合各种信息源的相关信息，为研究人员提供手动搜索可能错过的洞察。对于临床医生来说，该引擎可以根据患者的独特特征和病史，在相关研究的证据支持下，帮助生成建议的个性化治疗计划。

3. 法律：加强尽职调查和合同审查：

问题：法律专业人员在尽职调查流程、合同谈判和诉讼期间花费了大量时间审阅文件。查找相关条款、识别潜在风险，并确保遵守法规十分耗时，且需要深厚的专业知识。

RAG Engine 解决方案：RAG Engine 可以提取并索引法律文件、判例法和监管信息。法律专业人员可以查询系统，查找合同中的特定条款，识别潜在法律风险，并研究相关先例。该引擎可突出不一致问题、潜在责任和相关判例法，显著加快审阅流程并提高准确性。因此，法律专业人员可以加快完成工作，降低法律风险，并更有效地利用法律专业知识。

Vertex AI RAG 引擎入门

Google 提供丰富的资源来帮助您入门，其中包括：

• 入门笔记：
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb

• 文档：全面指导文档，助您完成 RAG Engine 的设置和使用。
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview

• 集成：Vertex AI 矢量搜索、Vertex AI Feature Store、Pinecone 和 Weaviate 的示例
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb

• 评估框架：了解如何使用 RAG Engine 评估和执行超参数调整以进行检索：
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

构建扎根的生成式人工智能

Vertex AI 的 RAG 引擎和基础解决方案套件使开发人员能够构建更可靠、更真实、更富有洞察力的生成式 AI 应用程序。通过利用这些工具，您可以释放法学硕士的全部潜力，克服幻觉和有限知识的挑战，为更广泛的企业采用生成式人工智能铺平道路。选择最适合您需求的解决方案并开始构建下一代智能应用程序。