Seguridad y cumplimiento de la IA: una guía para directores de tecnología

Los rápidos avances en inteligencia artificial generativa (GenAI) produjeron oportunidades transformadoras en muchas industrias. Sin embargo, con estos avances surgieron preocupaciones sobre los riesgos, como la privacidad, el uso indebido, los sesgos y la injusticia. Por lo tanto, el desarrollo y la implementación responsables son imprescindibles.

Las aplicaciones de IA son cada vez más sofisticadas y los desarrolladores las están integrando en sistemas críticos. Por lo tanto, la responsabilidad recae en los líderes tecnológicos, en particular los directores de tecnología y los jefes de ingeniería e IA, quienes se encargan de la adopción de la IA en sus productos y paquetes, y deben garantizar que la IA se utilice de manera segura, ética y de conformidad con las políticas, regulaciones y leyes pertinentes.

Si bien las regulaciones integrales de seguridad de la IA son incipientes, los directores de tecnología no pueden esperar a que se aprueben reglas antes de actuar. En cambio, deben adoptar un enfoque con visión de futuro para la administración de la IA e incorporar consideraciones de seguridad y cumplimiento en todo el ciclo de desarrollo del producto.

Este artículo es el primero de una serie en la que se exploran estos desafíos. Para comenzar, se presentan cuatro propuestas clave para integrar las prácticas de seguridad y cumplimiento de la IA en el ciclo de vida del desarrollo del producto:

1. Establecer un marco de trabajo sólido en relación con la administración de la IA

Formula un marco de trabajo integral para la administración de la IA, en el que se definan claramente los principios, políticas y procedimientos de la organización en relación con el desarrollo, la implementación y la utilización de sistemas de IA. En este marco de trabajo se deben establecer roles, responsabilidades, mecanismos de rendición de cuentas y protocolos de evaluación de riesgos claros.

Entre los ejemplos de marcos de trabajo emergentes, se incluyen el Marco de Trabajo de Administración de Riesgos de IA del Instituto Nacional de Estándares y Tecnologías de EE. UU. (NIST), el Plan de OSTP para una Declaración de Derechos de IA, la Ley de IA de la UE, y el Marco de Trabajo de IA Segura (SAIF) de Google.

Cuando tu organización adopte un marco de trabajo de administración de IA, será fundamental que se consideren las implicaciones de confiar en modelos de base de terceros. Estas consideraciones incluyen los datos de tu app que utiliza el modelo de base y tus obligaciones basadas en las condiciones de servicio del proveedor del modelo de base.

2. Incorporar los principios de seguridad de la IA en la fase de diseño

Incorpora los principios de seguridad de la IA, como los principios de IA responsable de Google, en el proceso de diseño desde el principio.

Los principios de seguridad de la IA implican identificar y mitigar los riesgos y desafíos potenciales al principio del ciclo de desarrollo. Por ejemplo, mitigar el sesgo en el entrenamiento o las inferencias del modelo, y garantizar la capacidad de explicación del comportamiento de los modelos. Utiliza técnicas como el entrenamiento antagonista (pruebas de equipo rojo de LLM utilizando indicaciones que buscan resultados inseguros) para ayudar a garantizar que los modelos de IA funcionen de manera justa, imparcial y sólida.

3. Implementar la supervisión y auditoría continuas

Realiza un seguimiento del rendimiento y el comportamiento de los sistemas de IA en tiempo real con supervisión y auditoría continuas. El objetivo es identificar y abordar posibles problemas o anomalías de seguridad antes de que se conviertan en problemas mayores.

Busca métricas clave, como la precisión del modelo, la imparcialidad y la capacidad de explicación, y establece una línea de base para tu app y su supervisión. Más allá de las métricas tradicionales, busca cambios inesperados en el comportamiento del usuario y el desvío del modelo de IA utilizando una herramienta como Vertex AI Model Monitoring. Haz esto utilizando el registro de datos, la detección de anomalías y los mecanismos con interacción humana para garantizar una supervisión continua.

4. Fomentar una cultura de transparencia y explicabilidad

Impulsa la toma de decisiones de IA a través de una cultura de transparencia y explicabilidad. Fomenta esta cultura definiendo pautas claras de documentación, métricas y roles para que todos los miembros del equipo que desarrollan sistemas de IA participen en el diseño, el entrenamiento, la implementación y las operaciones.

Además, debes proporcionar explicaciones claras y accesibles a las partes interesadas multifuncionales sobre cómo funcionan los sistemas de IA, sus limitaciones y la justificación de tus decisiones. Esta información fomenta la confianza entre los usuarios, los reguladores y las partes interesadas.

Comentario final

A medida que aumenta la importancia de la IA en los sistemas centrales y críticos, la administración adecuada es esencial para su éxito y el de los sistemas y organizaciones que utilizan la IA. Las cuatro propuestas de este artículo deberían ser un buen comienzo en esa dirección.

Sin embargo, este es un campo muy amplio y complejo, lo que quisimos plasmar en esta serie de artículos. Por lo tanto, busca profundizar en las herramientas, técnicas y procesos que necesitas para integrar de forma segura la IA en tu desarrollo y en las apps que creas.