El equipo de Superalineación de OpenAI innova métodos de control para la IA superinteligente.
El equipo de Superalineación de OpenAI revoluciona métodos de control para la IA superinteligente.
OpenAI dice que está progresando en sus capacidades para gestionar sistemas de IA superinteligentes, según un reciente informe de ENBLE reporte. El equipo de Superalineación, liderado por el científico jefe de OpenAI, Ilya Sutskever, ha desarrollado un método para guiar el comportamiento de los modelos de IA a medida que se vuelven cada vez más inteligentes.
El equipo de Superalineación, establecido en julio, se enfoca en el desafío de asegurar que la IA se mantenga segura y beneficiosa a medida que se acerca y supera la inteligencia humana. “AGI se acerca muy rápido”, dijo Leopold Aschenbrenner, investigador de OpenAI, a ENBLE. “Vamos a ver modelos superhumanos, van a tener vastas capacidades y podrían ser muy, muy peligrosos, y aún no tenemos los métodos para controlarlos”.
El nuevo documento de investigación de OpenAI presenta una técnica llamada supervisión, donde un modelo de IA menos avanzado guía el comportamiento de uno más sofisticado. Este método tiene como objetivo mantener las capacidades del modelo superior mientras asegura que se adhiera a pautas seguras y éticas. El enfoque se considera un paso crucial hacia la gestión de posibles IA superhumanas.
Los experimentos involucraron el uso del generador de texto GPT-2 de OpenAI para enseñar a GPT-4, un sistema más avanzado. Los investigadores probaron dos métodos para evitar la degradación del rendimiento de GPT-4. El primer método involucraba entrenar modelos progresivamente más grandes, y el segundo agregaba un ajuste algorítmico a GPT-4. Este último resultó más efectivo, aunque los investigadores reconocen que el control de comportamiento perfecto aún no está garantizado.
Respuesta de la industria y futuras direcciones
Dan Hendryks, director del Centro de Seguridad de IA, elogió el enfoque proactivo de OpenAI para controlar las IA superhumanas. El trabajo del equipo de Superalineación se considera un importante primer paso, pero se necesitan más investigaciones y desarrollo para garantizar sistemas de control efectivos.
- Cruise se reestructura con despidos masivos debido a preocupaciones...
- Omics espaciales desbloquean perspectivas de comunicación celular
- Spotify prueba una característica descubierta a través de TikTok
OpenAI planea dedicar una parte significativa de su potencia informática al proyecto de Superalineación y está solicitando colaboración externa. La compañía, en asociación con Eric Schmidt, ofrece $10 millones en subvenciones a investigadores que trabajen en técnicas de control de IA. Además, habrá una conferencia sobre alineación superhumana el próximo año para explorar aún más esta área crítica.
Ilya Sutskever, cofundador de OpenAI y una figura clave en los avances técnicos de la compañía, copreside el equipo de Superalineación. Su participación en el proyecto es crucial, especialmente después de la reciente crisis de gobernanza en OpenAI. La experiencia y el liderazgo de Sutskever son fundamentales para impulsar el proyecto hacia adelante.
El desarrollo de métodos para controlar la IA superinteligente es una tarea compleja y urgente. A medida que la tecnología de IA avanza rápidamente, asegurar su alineación con los valores y la seguridad humanos se vuelve cada vez más crítico. La iniciativa de OpenAI en esta área marca un paso significativo, pero el camino hacia sistemas de control de IA confiables y efectivos continúa y requiere esfuerzos colaborativos de la comunidad global de investigación en IA.
