Colocando agentes de IA em produção com a API Gemini

OUT 30, 2024
Vishal Dharmadhikari Product Solutions Engineer
Paige Bailey AI Developer Experience Engineer
Adam Silverman COO, Agency AI

A criação e implantação de agentes de IA é uma fronteira empolgante, mas o gerenciamento desses sistemas complexos em um ambiente de produção requer uma observabilidade robusta. O AgentOps, um SDK do Python para monitoramento de agentes, rastreamento de custos de LLMs, comparativos de mercado e muito mais, permite que os desenvolvedores levem seus agentes do protótipo para a produção, principalmente quando combinados com o poder e a boa relação custo-benefício da API Gemini.

A screenshot of the AgentOps AI platform displaying session data, including the session duration, cost, and prompts used, highlighting the LLM (Large Language Model) calls and events, the specific agent involved, and their role in the session.

A vantagem do Gemini

Adam Silverman, COO da Agency AI, a equipe por trás do AgentOps, explica que o custo é um fator crítico para as empresas que implantam agentes de IA em escala. "Já vimos empresas gastarem US$ 80.000 por mês em chamadas de LLM. Com o Gemini 1.5, a mesma saída teria custado apenas alguns milhares de dólares."

Essa boa relação custo-benefício, combinada com os recursos poderosos de compreensão e geração de linguagem do Gemini, faz dele uma opção ideal para desenvolvedores que criam agentes de IA sofisticados. "O Gemini 1.5 Flash está nos proporcionando qualidade comparável à de modelos maiores por uma fração do custo, além de ser incrivelmente rápido", diz Silverman. Isso permite que os desenvolvedores se concentrem na criação de fluxos de trabalho de agentes complexos e em várias etapas sem se preocuparem com o aumento desenfreado dos custos.

"Vimos casos de agentes individuais com outros provedores de LLM custarem mais de US$ 500 por execução. Essas mesmas execuções com o Gemini (1.5 Flash 8B) custam menos de US$ 50."
– Adam Silverman, COO, Agency AI
A screen share of an AgentOps AI dashboard showing graphs and charts of analytics for session end states, failed sessions, session cost distribution, and events per session.

Habilitação de agentes de IA

O AgentOps captura dados de cada interação do agente, e não apenas de chamadas de LLM, fornecendo uma visão abrangente de como os sistemas multiagentes operam. Esse alto nível de detalhamento é essencial para equipes de engenharia e conformidade, e oferece insights cruciais para depuração, otimização e trilhas de auditoria.

A integração de modelos Gemini ao AgentOps é extremamente simples, muitas vezes levando apenas alguns minutos com o uso do LiteLLM. Os desenvolvedores podem rapidamente obter visibilidade de suas APIcalls do Gemini, rastrear os custos em tempo real e assegurar a confiabilidade dos agentes na produção.


O futuro

O AgentOps tem o compromisso de apoiar os desenvolvedores de agentes para o escalonamento de projetos. A Agency AI está ajudando as empresas a navegarem pelas complexidades da criação de agentes acessíveis e escalonáveis, solidificando ainda mais a proposta de valor da combinação do AgentOps com a API Gemini. Como Silverman enfatiza, "ele está fazendo com que os desenvolvedores mais preocupados com a questão de preços criem agentes".

Para os desenvolvedores que consideram usar o Gemini, o conselho de Silverman é claro: "Experimente, porque você vai se impressionar".