Una de las fronteras más interesantes en la aplicación de ventanas de contexto extenso es la generación y comprensión de código. Las grandes bases de código requieren una comprensión profunda de las relaciones y dependencias complejas, una tarea que a los modelos de IA tradicionales les cuesta lograr. Al ampliar la cantidad de código con grandes ventanas de contexto, podemos acceder a un nuevo nivel de precisión y utilidad en la generación y comprensión de código.
Nos asociamos con Sourcegraph, la empresa creadora del asistente de codificación Cody AI, que admite LLM como Gemini 1.5 Pro y Flash, para explorar el potencial de las ventanas de contexto extenso en escenarios de codificación del mundo real. El enfoque de Sourcegraph en la integración de la búsqueda de código y la inteligencia en la generación de código de IA, y la implementación exitosa de Cody en empresas con bases de código grandes y complejas, como Palo Alto Networks y Leidos, hicieron que la empresa fuera el socio ideal para esta exploración.
Sourcegraph comparó el rendimiento de Cody con una ventana de contexto de 1 millón de tokens (utilizando Gemini 1.5 Flash de Google) frente a su versión de producción. Esta comparación directa le permitió aislar los beneficios del contexto ampliado. El objetivo central era responder preguntas técnicas, una tarea crucial para los desarrolladores que trabajan con grandes bases de código. Se utilizó un conjunto de datos de preguntas desafiantes que requerían una comprensión profunda del código.
Los resultados fueron sorprendentes. Tres de los puntos de referencia clave de Sourcegraph, Recuperación esencial, Concisión esencial y Ayuda, demostraron mejoras significativas cuando se usó el contexto más extenso.
Además, el uso de modelos de contexto largo redujo en gran medida la tasa general de alucinaciones (la generación de información objetivamente incorrecta). La tasa de alucinaciones disminuyó del 18.97% al 10.48%, una mejora significativa en la precisión y la fiabilidad.
Si bien los beneficios del contexto extenso son importantes, siempre hay concesiones. El tiempo hasta el primer token aumenta linealmente según la duración del contexto. Para mitigar este inconveniente, Sourcegraph implementó un mecanismo de captura previa y una arquitectura de modelo de contexto en capas para el almacenamiento en caché del estado de ejecución del modelo. Con los modelos de contexto largo Gemini 1.5 Flash y Pro, esto permitió optimizar el tiempo hasta el primer token de 30 a 40 segundos a alrededor de 5 segundos para contextos de 1 MB, una mejora considerable para la generación de código y la asistencia técnica en tiempo real.
Esta colaboración muestra el potencial transformador de los modelos de contexto extenso para revolucionar la comprensión y generación de códigos. Nos entusiasma asociarnos con empresas como Sourcegraph para continuar desbloqueando aplicaciones y paradigmas aún más innovadores con ventanas de contexto extenso.
Para profundizar en las metodologías de evaluación, los puntos de referencia y el análisis detallado de Sourcegraph, incluidos los ejemplos ilustrativos, no te pierdas la publicación detallada del blog.
