Importantes desarrolladores de inteligencia artificial, como OpenAI, Google, Anthropoc, Hugging Face, Microsoft, Nvidia y Stability AI, se han unido para colaborar en una evaluación pública de sus sistemas generativos de IA en DEF CON 31, una convención de hackers que se llevará a cabo en Las Vegas en agosto. El evento será organizado por AI Village, una comunidad de hackers de IA.
A medida que los grandes modelos de lenguaje (LLMs) como ChatGPT se han vuelto populares para acelerar las tareas de escritura y comunicación, también han surgido riesgos inherentes, como las confabulaciones, jailbreaks y sesgos que plantean desafíos para los profesionales de la seguridad y el público en general. Por esta razón, la Oficina de Ciencia, Tecnología y Política de la Casa Blanca respalda la idea de empujar estos nuevos modelos de IA generativos hasta sus límites.
“Este ejercicio independiente proporcionará información crítica a los investigadores y al público sobre los impactos de estos modelos y permitirá a las empresas y desarrolladores de IA tomar medidas para corregir los problemas encontrados en esos modelos”, dice una declaración de la Casa Blanca. El evento se alinea con la propuesta de Bill of Rights de IA del presidente Biden y el Marco de Gestión de Riesgos de IA del Instituto Nacional de Estándares y Tecnología.
Organizadores de AI Village, Sven Cattell, Rumman Chowdhury y Austin Carson, han llamado al próximo evento “el ejercicio más grande de red-teaming jamás realizado para cualquier grupo de modelos de IA”. Miles de personas participarán en la evaluación pública del modelo de IA, que utilizará una plataforma de evaluación desarrollada por Scale AI.
Durante el evento, los participantes tendrán acceso cronometrado a múltiples LLMs a través de computadoras portátiles proporcionadas por los organizadores. Un sistema de puntos similar al “capture-the-flag” alentará a probar una amplia gama de posibles daños. Al final, la persona con más puntos ganará una GPU Nvidia de alta gama.
El objetivo de AI Village y DEF CON es ampliar la comunidad de investigadores capacitados para manejar vulnerabilidades en los sistemas de IA. La técnica de “inyección de comandos” ha demostrado ser sorprendentemente difícil de bloquear, lo que puede hacer que un modelo de lenguaje realice acciones no previstas por su creador.
DEF CON 31 se llevará a cabo del 10 al 13 de agosto de 2023 en el Foro de Caesar en Las Vegas. La comunidad de investigadores de IA espera obtener información valiosa de esta evaluación masiva para ayudar a prevenir riesgos en el futuro.
Libro recomendado sobre inteligencia artificial:
