OpenAI e o time de alinhamento: O Que Aconteceu?
Recentemente, surgiram notícias sobre a dissolução da equipe Superalignment da OpenAI, criada para enfrentar os desafios técnicos da inteligência artificial superinteligente (AGI).
Essa equipe foi planejada para ser a linha de frente na segurança e controle de sistemas de IA altamente avançados, mas, infelizmente, enfrentou obstáculos que impediram seu sucesso.
O Contexto da criação da equipe Superalignment
Em julho do ano passado, a OpenAI formou a equipe Superalignment, liderada por Jan Leike e Ilya Sutskever. A equipe foi criada com o objetivo ambicioso de resolver os desafios técnicos centrais do controle de IA superinteligente nos próximos quatro anos.
Cientistas e engenheiros de várias divisões da OpenAI, bem como pesquisadores de outras organizações, foram reunidos para contribuir com pesquisas que garantissem a segurança de modelos de IA, tanto internos quanto externos.
Recursos e desafios
Inicialmente, a equipe foi prometida 20% dos recursos computacionais da empresa. No entanto, segundo um membro da equipe, pedidos por uma fração desses recursos frequentemente eram negados. Essa falta de recursos críticos dificultou o trabalho da equipe, levando a uma série de resignações, incluindo a do co-líder Jan Leike.
Leike foi vocal sobre os motivos de sua saída, destacando suas discordâncias com a liderança da OpenAI sobre as prioridades da empresa. Ele afirmou que uma maior atenção deveria ser dada à preparação para as próximas gerações de modelos de IA, incluindo segurança, monitoramento, robustez adversarial e impacto social.
Ele expressou preocupações de que a empresa não estava no caminho certo para resolver esses problemas complexos.
Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.
— Jan Leike (@janleike) May 17, 2024
Conflitos internos
Além dos problemas com recursos, a equipe Superalignment também enfrentou distrações significativas devido a conflitos internos na OpenAI. Ilya Sutskever, um dos líderes da equipe, teve um desentendimento com o CEO Sam Altman, que culminou em uma tentativa abrupta de demissão de Altman pelo antigo conselho de diretores da OpenAI. Sob pressão de investidores e funcionários, Altman foi reintegrado, e Sutskever nunca retornou ao trabalho.
Contribuições e realizações
Apesar dos desafios, a equipe Superalignment conseguiu publicar uma série de pesquisas sobre segurança e distribuiu milhões de dólares em subsídios para pesquisadores externos.
Entretanto, conforme os lançamentos de produtos começaram a ocupar mais tempo da liderança da OpenAI, a equipe encontrou dificuldades em garantir investimentos antecipados que acreditavam ser críticos para a missão da empresa.
O futuro da Superalignment
Com a saída de Leike e Sutskever, John Schulman, co-fundador da OpenAI, assumiu a liderança dos trabalhos da equipe. Logo, não haverá mais uma equipe dedicada exclusivamente à superinteligência; em vez disso, haverá um grupo de pesquisadores associados inseridos em diversas divisões da empresa. A OpenAI descreveu isso como uma forma de integrar mais profundamente a equipe.
Preocupações com a segurança
A dissolução da equipe Superalignment levanta preocupações sobre o foco da OpenAI na segurança da IA. Construir máquinas mais inteligentes que os humanos é uma tarefa inerentemente perigosa, e a falta de uma equipe dedicada pode significar que o desenvolvimento da IA na OpenAI não será tão centrado na segurança quanto poderia ser.
Créditos: TechCrunch
