Superintelligence is impossible

The essay says the risk of superintelligent AI has been overblown and contrasts two ways of thinking about intelligence. One treats intelligence as a single dial that can keep increasing; the other treats it as adaptation to a niche, where gains in one area bring tradeoffs in others.

It argues that the No Free Lunch principle fits the second view better. On that view, there is no system that can excel at all tasks at once, so true superintelligence would be impossible, while narrower systems and human-equivalent general AI can still emerge.

Fichamento

#

• O texto diz que o risco da IA superinteligente tem sido exagerado e que vale olhar com mais ceticismo para essa ameaça.
• Apresenta duas formas de entender inteligência: uma como escala única, próxima de uma visão “deísta”, e outra como adaptação evolutiva a nichos específicos.
• Retoma a definição de superinteligência como algo que faria humanos parecerem crianças ou formigas e que escaparia ao controle humano.
• Usa a formulação de inteligência universal de Legg e Hutter para mostrar que, nessa leitura, inteligência seria uma medida ampla do desempenho em muitos problemas.
• Contrasta isso com a visão evolutiva, em que diferentes inteligências coexistem e cada uma se ajusta a um conjunto limitado de problemas.
• Toma o teorema No Free Lunch como apoio para a ideia de que não existe um modelo ou algoritmo que seja o melhor em todas as situações.
• Afirma que o mesmo raciocínio vale para organismos e para sistemas inteligentes: ganhos em um contexto tendem a implicar perdas em outros.
• Conclui que pode haver IA geral em nível humano e agentes que funcionem bem em várias tarefas, mas não uma superinteligência com desempenho perfeito em tudo.