Resumen de Web AI Summit 2024: IA del lado del cliente para desarrolladores

NOV 11, 2024
Jason Mayes Web AI Lead

La primera cumbre de Google para desarrolladores que utilizan IA en el lado del cliente


El 18 de octubre de 2024, Google organizó la primera Web AI Summit para reunir a las mejores mentes de todo el mundo que trabajan con modelos de aprendizaje automático del lado del cliente en el navegador web. Esto significa que después de la carga inicial de la página, todas estas soluciones podrían funcionar completamente sin conexión en el dispositivo del cliente, lo que permite a los usuarios beneficiarse de la inferencia de baja latencia, menores costos y privacidad.

Nuestro programa incluía presentadores no solo de equipos de Google, como Chrome y MediaPipe, sino también representantes de otros actores del sector, como Intel, Hugging Face, Microsoft y LangChain, entre otros. Desde detección de bienes de consumo empaquetados hasta soluciones de atención médica, las charlas cubrieron una amplia gama de industrias y áreas que muestran hasta dónde puede llegar la IA web.

Sigue leyendo para obtener más detalles o mira la playlist de YouTube para ponerte al día de inmediato y ver las charlas.

Machine Learning Panel

Destacados de la primera Web AI Summit

Tuvimos más de 1100 inscripciones de personas de 22 países, 59 ciudades y 179 oficinas diferentes de Google, que se unieron a nosotros para este evento histórico con cupo completo todo el día. Fue genial ver lo comprometidos que estaban todos con las charlas.

Entre el público, había ingenieros de software, responsables empresariales y ejecutivos de liderazgo, lo que creaba una sinergia productiva entre la experiencia técnica y la planificación estratégica.


Oradores y sesiones de Web AI Summit

Nuestros oradores expertos compartieron información valiosa para equipar a los desarrolladores de Javascript con conocimientos sobre funciones sofisticadas y complejas impulsadas por IA que se están convirtiendo en el estándar de la industria para satisfacer las demandas de los clientes. Consulta todas las charlas a continuación o míralas cuando quieras.

image3

Te damos la bienvenida a Web AI Summit 2024

Jason Mayes - Jefe de Web AI, Google

Jim Bankoski - Vicepresidente de Ingeniería, Chrome, Google

Descripción general del estado de la IA web en 2024 y por qué se creó la Web AI Summit. Descubre las posibilidades que brinda el aprendizaje automático integrado en los dispositivos, así como hacia dónde se dirige, para conocer los conceptos básicos antes de ver las otras charlas de esta serie. Esta charla es adecuada para todos y cubre temas como la IA generativa, los LLM, los modelos de difusión, WebGPU, WebAssembly y APIs emergentes (como WebNN), junto con ejemplos de la industria que ya están utilizando la IA web en la actualidad.


Transformers.js: Aprendizaje automático de última generación para la Web

Joshua Lochner - Ingeniero de ML (Transformers.js), Hugging Face

Aprende sobre Transformers.js, una nueva biblioteca de JavaScript que permite a los desarrolladores crear aplicaciones web nunca antes vistas. Está diseñado para ser funcionalmente equivalente a la biblioteca de transformadores Python de Hugging Face y admite más de 120 arquitecturas en una amplia variedad de tareas y modalidades. Los usuarios pueden elegir entre más de 1000 modelos preentrenados o convertir los suyos para que se ejecuten localmente en el navegador, lo que ofrece aprendizaje automático escalable, de baja latencia y que protege la privacidad. La reciente compatibilidad con WebGPU permite la ejecución de modelos de alto rendimiento mediante la utilización de capacidades modernas de GPU directamente en el navegador.


API de Web Neural Network (WebNN): dónde estamos y qué sigue

Rob Kochman - Gerente de producto de grupo (Chrome), Google

Rafael Cintron - Ingeniero de diseño de software principal, Microsoft

Las tecnologías web avanzadas, como WebAssembly y WebGPU, trajeron recientemente capacidades reales de IA a los navegadores. La API de Web Neural Network (WebNN) propuesta tiene como objetivo aprovechar ese impulso, lo que permite que las cargas de trabajo de IA se ejecuten de manera más rápida y eficiente en una variedad de dispositivos, incluidos los dispositivos con hardware de acelerador de IA (NPU), todos basados en estándares web. Esta sesión comenzará con una breve descripción general de WebNN, luego detallará los desarrollos recientes, incluida la forma de la API, los dispositivos y marcos de trabajo compatibles, y las implementaciones en navegadores. También describiremos el plan para el futuro, a medida que recopilamos comentarios de la comunidad.


Web AI en IA para PC

Moh Haghighat - Colega, Intel

Intel presentó WebNN, una API estándar web unificada emergente del W3C para la aceleración de ML web en el dispositivo a través de motores de ejecución de IA del cliente: CPU, GPU y NPU. Actualmente en vista previa para desarrolladores en los navegadores Chrome y Edge, e integrado en marcos de trabajo de ML populares (por ejemplo, ONNX Runtime Web), WebNN ofrece funciones de rendimiento y potencia "casi nativas". Presentaremos increíbles demostraciones de WebNN y vistas previas de adopción que traerán una nueva clase de experiencias a la Web.


ml5.js - Aprendizaje automático fácil para usar para la Web

Yu Lee - Residente de investigación, ML5.js, NYU

Aidan Nelson - Profesor visitante, ML5.js, NYU

Esta charla se centra en ml5.js, una biblioteca de código abierto creada sobre TensorFlow.js con el objetivo de hacer que el aprendizaje automático sea accesible para un amplio público de artistas, codificadores creativos y estudiantes. Este proyecto se creó como esfuerzo de colaboración en el Programa ITP de la NYU, se inspiró en Processing y el enfoque del proyecto p5.js de hacer que la codificación sea inclusiva y accesible. ml5.js tiene como objetivo expandir esta misión al dominio del aprendizaje automático y cerrar la brecha entre la complejidad técnica del aprendizaje automático y la creatividad de principiantes y artistas.


WebLLM: motor de inferencia LLM de alto rendimiento en navegadores

Charlie Ruan - Estudiante investigador, CMU

Esta charla cubrió WebLLM, un motor de inferencia LLM de alto rendimiento en navegadores. WebLLM permite crear aplicaciones web habilitadas para IA que son rápidas (aceleración de GPU nativa a través de WebGPU), privadas (100% de computación del lado del cliente) y convenientes (configuración de entorno cero). Para los desarrolladores, WebLLM cuenta con una interfaz de estilo OpenAI-API para una integración estandarizada, admite aplicaciones de chat y una generación JSON estructurada eficiente, y ofrece compatibilidad integrada para Web/Service Workers para separar las ejecuciones de backend del flujo de la IU. En esta charla, exploraremos las funciones clave de WebLLM, la arquitectura general y cómo los desarrolladores pueden usarla para crear aplicaciones web habilitadas para IA.


El estado no es obligatorio, pero es útil: crea mejores aplicaciones LLM en navegadores

Jacob Lee - Ingeniero fundador, LangChain

Los nuevos avances de proyectos como WebLLM, Transformers.js y Chrome AI acercaron los LLM locales más que nunca a cualquier persona con un navegador. Pero aunque esto tiene un inmenso potencial para expandir las fronteras del desarrollo web, estos modelos pequeños son más limitados que los modelos alojados de última generación y requieren consideraciones más cuidadosas en torno al diseño y las indicaciones.

Esta charla se centró en abordar estas limitaciones cubriendo técnicas para implementar aplicaciones prácticas que aprovechen al máximo los modelos pequeños utilizando el potente conjunto de herramientas proporcionado por LangGraph.js, un nuevo marco de trabajo para orquestar aplicaciones de LLM con estado.


Bloques visuales: creación de prototipos visuales de canalizaciones de IA

Ruofei Du - Jefe de Interactive Perception & Graphics, Google

Visual Blocks for ML es una plataforma de programación visual que potencia el prototipado rápido de multimedia e IA. En esta charla, mostraremos cómo construir flujos de procesamiento de IA interactivos, realizar un aumento de datos interactivo y probar flujos de procesamiento con datos en tiempo real utilizando acciones simples de arrastrar y soltar. También destacaremos una gama de flujos de procesamiento y nodos personalizados aportados por la comunidad que demuestran diversas aplicaciones en gráficos interactivos, cadenas de modelos de lenguaje grandes, visión artificial y soluciones multimodales. Finalmente, alentamos a todos los profesionales de la IA web a contribuir con sus propios flujos de procesamiento de ML y nodos personalizados, ya que eso enriquecerá aún más la plataforma compartida e inspirará casos de uso innovadores.


Exploramos interacciones alternativas en JavaScript

Charlie Gerard - Ingeniero de investigación sénior, CrowdStrike

Los últimos avances en IA se centraron principalmente en modelos de lenguaje grandes y nuevas formas de crear y consumir contenido. Sin embargo, la IA también ofrece la oportunidad de repensar la forma en que interactuamos con las interfaces. Usando JavaScript y modelos centrados en el seguimiento corporal o la clasificación de audio, los desarrolladores web tienen una oportunidad única de experimentar con interacciones alternativas para crear experiencias web más innovadoras.


Descripción general de la IA integrada en Chrome

Kenji Baheux - Gerente de Producto, Chrome, Google

Compartimos lo que venimos haciendo en Chrome para la IA incorporada, lo que aprendimos y lo que sigue. Hablaremos sobre cómo vemos la API de Prompt, nuestro estado para las APIs de tareas generales, como la generación de resúmenes, la escritura o reescritura, y los aprendizajes del programa de versión preliminar, así como nuestros próximos objetivos.


La IA web en la industria: cómo TensorFlow.js impulsa lo que se ve en el supermercado

Hugo Zanini - Jefe técnico de proyecto, Nubank

Esta charla muestra cómo una de las 10 empresas de bienes de consumo envasados más grandes del mundo utilizó IA web para expandir su estrategia de marketing comercial en tiendas en Brasil y cómo se convirtió en un proyecto de código abierto que fue beneficioso para otras empresas de la industria.


Lecciones aprendidas como cliente cero de las APIs integradas en Chrome

Thomas Steiner - Ingeniero de relaciones con desarrolladores, Chrome, Google

En esta charla, Thomas resume algunas de las cosas que el equipo de Relaciones con Desarrolladores aprendió como cliente cero de las APIs integradas de Chrome. Usando un ejemplo de una aplicación de búsqueda de sinónimos impulsada por IA, muestra cómo trabajar con la API de Prompt centrándose en aspectos que van desde el ajuste de indicaciones hasta el análisis confiable de los resultados y la optimización de la aplicación para obtener el máximo rendimiento.


El futuro de la IA es ahora: estudios de casos de la vida real para la adopción de IA del lado del cliente en aplicaciones web

Yuriko Hirota - Ingeniero de soluciones para socios, Google

Kazunari Hara - Experto desarrollador, CyberAgent

Esta charla breve revela el poder práctico de la IA del lado del cliente no solo en su uso, sino también para mejorar la experiencia del usuario. La charla profundiza en un caso de éxito real presentado en Google I/O 2024, que muestra cómo CyberAgent, la potencia detrás de uno de los principales servicios de blogs de Japón, planea aprovechar la magia de la IA del lado del cliente para capacitar a los usuarios con la generación de títulos de blog sin esfuerzo. Únete para conocer cómo CyberAgent maximizó el potencial de la IA del lado del cliente a través de un diseño innovador de casos prácticos y un enfoque centrado en el usuario.


¿Por qué son muy buenas las extensiones web para la IA?

David Li - Gerente de Producto, Chrome, Google

En esta charla, mostramos el potencial de la IA y las extensiones de Chrome. Las extensiones de Chrome te permiten controlar el navegador, observar el contenido web y agregar tu propia IU. Cuando se combinan, la IA y las extensiones de Chrome pueden hacer que la experiencia de navegación sea realmente útil y más productiva. Esta charla da una visión general de cómo las extensiones en la WebStore están utilizando la IA hoy en día y dónde vemos el mayor potencial.


Beyond the Banner: El poder de la IA web para personalizar los medios pagos

Cory Grenier - CEO, GEENEE

Evgeny Peshkov - CTO, GEENEE

Descubre cómo la IA web está revolucionando los medios pagos personalizados introduciendo anuncios de prueba virtuales innovadores en todas las pantallas.


MediaPipe Web: Llevamos la tecnología de IA multiplataforma a los navegadores

Tyler Mullen - Ingeniero de software de personal, Mediapipe, Google

Conoce el enfoque multiplataforma de MediaPipe para crear flujos de procesamiento de IA y llevarlos a los navegadores. Destacaremos algunos de los beneficios de nuestro método y hablaremos sobre algunos de los principales productos que ayudamos a potenciar (como Google Meet). Luego cubriremos nuestros últimos avances tecnológicos y APIs para desarrolladores. Se incluyen soluciones para tareas tradicionales de aprendizaje automático, como la segmentación de imágenes, así como tareas generativas de IA, como la inferencia de LLM. Finalmente, daremos un vistazo al futuro con algunas demostraciones.


Transformamos el acceso a la atención médica a través de la IA web

Chris Slee - CTO, Include Health


IncludeHealth, proveedor virtual de fisioterapia, aprovecha el poder de la IA web para derribar las barreras logísticas y económicas, ya que permite a los pacientes recibir atención personalizada y medida en cualquier lugar, en cualquier momento y en cualquier dispositivo.


Capacitación de ML en la web: Creación de ML simple para Google Sheets

Richard Stotz - Ingeniero de software, Core ML, Google


Descubre cómo creamos Simple ML for Sheets, un complemento gratuito de Hojas de cálculo de Google para ML e IA. Simple ML for Sheets utiliza el aprendizaje automático en el dispositivo impulsado por WebAssembly, Javascript y la nueva IA incorporada de Chrome para ofrecer tareas avanzadas de aprendizaje automático a todos los usuarios. Esta charla destaca las herramientas que utilizamos para ofrecer Simple ML for Sheets en el mercado y cómo las bibliotecas de código abierto de nuestro equipo ayudan a los desarrolladores a lograr sus propios éxitos de ML en la web.


¡Gracias a todos!

Este evento no sería posible sin las numerosas personas involucradas en su organización y presentación. Nos gustaría agradecer a nuestros tres creadores: Jason Mayes, Jenna Zheng y Marcus Chang por organizar el evento y, por supuesto, también a todos nuestros presentadores mencionados anteriormente, además de los ayudantes y asistentes, y nuestros equipos de AV que se aseguraron de que la presentación del espectáculo se grabara sin problemas para que puedas disfrutarlo una vez que terminara.


¿Te gustaría asistir a la próxima Web AI Summit?

Si te perdiste el evento esta vez, ponte al día a través de los videos anteriores y asegúrate de suscribirte a nuestro boletín público de Web AI para estar informado la próxima vez que salgamos a la luz.