O modelo Orion de próxima geração do ChatGPT da OpenAI, que há rumores e negado que chegará até o final do ano, pode não ser tudo o que se espera quando chegar, de acordo com um novo relatório da A informação.
Citando funcionários anônimos da OpenAI, o relatório afirma que o modelo Orion mostrou uma melhoria “muito menor” em relação ao seu antecessor GPT-4 do que o GPT-4 mostrou em relação ao GPT-3. Essas fontes também observam que Orion “não é confiávelmente melhor que seu antecessor [GPT-4] no tratamento de certas tarefas”, especificamente na codificação de aplicativos, embora o novo modelo seja notavelmente mais forte em recursos gerais de linguagem, como resumir documentos ou gerar e-mails.
Vídeos recomendados
O relatório da Information cita uma “oferta cada vez menor de textos e outros dados de alta qualidade” sobre os quais treinar novos modelos como um fator importante nos ganhos insubstanciais do novo modelo. Em suma, a indústria da IA está rapidamente a deparar-se com um estrangulamento de dados de formação, já tendo eliminado as fontes fáceis de dados de redes sociais de sites como X, Facebook e YouTube (este último em dois ocasiões diferentes.) Como tal, estas empresas têm cada vez mais dificuldade em encontrar os tipos de desafios complicados de codificação que ajudarão a avançar os seus modelos para além das suas capacidades actuais, atrasando a sua formação pré-lançamento.
Essa redução da eficiência do treinamento tem enormes implicações ecológicas e comerciais. À medida que os LLMs de classe de fronteira crescem e aumentam ainda mais a contagem de seus parâmetros para trilhões, a quantidade de energia, água e outros recursos deverá aumentar seis vezes na próxima década. É por isso que estamos vendo Microsoft tenta reiniciar Three Mile Island, AWS compra uma usina de 960 MWe o Google compra a produção de sete reatores nucleares, tudo para fornecer a energia necessária para a sua crescente variedade de centros de dados de IA – a atual infraestrutura energética do país simplesmente não consegue acompanhar.
Em resposta, como relata o TechCruncha OpenAI criou uma “equipe de fundações” para contornar a falta de dados de treinamento apropriados. Essas técnicas poderiam envolver o uso de dados de treinamento sintéticos, como o que Família de modelos Nemotron da Nvidia pode gerar. A equipe também busca melhorar o desempenho do modelo pós-treinamento.
Orion, que foi originalmente considerado o codinome do GPT-5 da OpenAI, agora deve chegar em algum momento de 2025. Se teremos energia disponível suficiente para vê-lo em ação, sem sobrecarregar nossas redes elétricas municipais, resta ver.
Apoie o nosso trabalho ❤️
Se você gostou deste artigo, considere deixar uma gorjeta para nos ajudar a continuar publicando conteúdo de qualidade.
