Enquanto o chefe da OpenAI, Sam Altman, está espalhando entusiasmo de que a AGI está chegando, novos relatórios sugerem que o dimensionamento do LLM atingiu um muro. A visão predominante no campo da IA tem sido a de que treinar modelos maiores em grandes quantidades de dados e recursos computacionais levará a uma maior inteligência.
Na verdade, Ilya Sutskever, ex-cientista-chefe da OpenAI e fundador da Safe Superintelligence Inc., tem sido um forte defensor do dimensionamento de modelos como o caminho para desbloquear a inteligência. Respondendo a ReutersSutskever agora diz: “os resultados da ampliação do pré-treinamento – a fase de treinamento de um modelo de IA que usa uma grande quantidade de dados não rotulados para compreender padrões e estruturas de linguagem – estagnaram.”
Numa reviravolta, Sutskever diz que escalar as coisas certas agora é importante: “A década de 2010 foi a era da expansão, agora estamos de volta à era da maravilha e da descoberta mais uma vez. Todo mundo está procurando a próxima coisa. Dimensionar a coisa certa é mais importante do que nunca.”
Essa é a razão pela qual a OpenAI lançou sua nova série de modelos de raciocínio ’01’ no ChatGPT que são dimensionados durante a inferência. Verificou-se que se for dado mais tempo aos modelos de IA para “pensar” e reavaliar a sua resposta, eles produzem resultados muito melhores. Portanto, as empresas agora estão se concentrando mais na computação em tempo de teste, o que significa adicionar mais recursos durante a inferência e, em seguida, gerar uma resposta final.
Recentemente, A informação relatou que a OpenAI mudou sua estratégia porque seu próximo grande modelo “Orion” não apresentou os melhores resultados esperados. O salto do GPT-3.5 para o GPT-4 foi enorme, mas os funcionários da OpenAI que testaram o próximo modelo dizem que a melhoria do GPT-4 para o Orion é marginal. Em tarefas como codificação, ele não supera os modelos GPT anteriores.
OpenAI agora está focado no dimensionamento de inferência como uma nova maneira de melhorar o desempenho do modelo no ChatGPT. Noam Brown, pesquisador da OpenAI, diz que o dimensionamento de inferência melhora significativamente o desempenho do modelo.
Recentemente, ele twittou“O o1 da OpenAI pensa por segundos, mas pretendemos que versões futuras pensem por horas, dias e até semanas. Os custos de inferência serão mais elevados, mas que custo pagaria por um novo medicamento contra o cancro? Para baterias inovadoras? Para uma prova da hipótese de Riemann? A IA pode ser mais do que chatbots.”
O Google e a Anthropic também estão trabalhando em uma técnica semelhante para melhorar o desempenho do modelo por meio de escala de inferência. No entanto, François Chollet, pesquisador do Google, argumenta que o dimensionamento dos LLMs por si só não levará à inteligência generalizada. Yann LeCun, cientista-chefe de IA da Meta, diz da mesma forma que os LLMs não são suficientes para alcançar AGI.
À medida que as empresas ficam sem dados para treinar modelos maiores, elas procuram novas técnicas para melhorar o desempenho do LLM. Agora, se a AGI está realmente chegando ou se é simplesmente um exagero, só o tempo dirá.
Apoie o nosso trabalho ❤️
Se você gostou deste artigo, considere deixar uma gorjeta para nos ajudar a continuar publicando conteúdo de qualidade.
