El proyecto OpenAssistant se presenta como una alternativa de código abierto al popular modelo de lenguaje ChatGPT de OpenAI. Tras meses de trabajo y la colaboración de más de 13,500 voluntarios, el equipo ha recopilado un corpus de conversaciones humano-generadas y humano-anotadas en 35 idiomas diferentes, con más de 161,000 mensajes distribuidos en 66,000 árboles de conversación.
Utilizando estos datos, el equipo ha refinado varios modelos de lenguaje, incluyendo variantes del modelo LLaMA de Meta y del modelo Pyhtia de EleutherAI. La variante más grande, basada en el modelo LLaMA con 30 mil millones de parámetros, se acerca en resultados al modelo gpt-3.5-turbo de ChatGPT.
A pesar de los avances, el equipo reconoce las limitaciones de los grandes modelos de lenguaje, como las “alucinaciones” generadas por el modelo. También se señala que la mayoría de los datos de entrenamiento fueron aportados por anotadores masculinos, lo que podría introducir sesgos en el conjunto de datos.
No obstante, OpenAssistant busca democratizar la investigación en inteligencia artificial, particularmente en el área de modelos de lenguaje a gran escala y su adaptación a los valores humanos. En este sentido, el proyecto se opone a la tendencia de OpenAI de mantener la opacidad en el desarrollo de sus propios modelos y de conducir investigaciones de alineación con un pequeño grupo de especialistas.
El equipo de OpenAssistant también ha tomado medidas para detectar y eliminar mensajes dañinos en el conjunto de datos, aunque se reconoce que el sistema no es infalible. Por ello, se recomienda su uso en contextos académicos y se insta a los investigadores a investigar exhaustivamente la seguridad y los sesgos del modelo antes de emplearlos en tareas posteriores.
El proyecto está liderado por Andreas Köpf, Yannic Kilcher, Huu Nguyen y Christoph Schumann, y cuenta con un equipo de más de 20 desarrolladores, expertos en datos y seguridad, y un equipo de moderación y documentación. Los modelos y los datos están disponibles en el sitio web de OpenAssistant y en Hugging Face, y el código se puede encontrar en GitHub. El proyecto cuenta con el apoyo de empresas como Redmond AI, Hugging Face, Weights & Biases, Stabilty AI y LAION.
Libro recomendado sobre inteligencia artificial:
