Llama 3 e GPT-4 são dois dos modelos de linguagem grande (LLMs) mais avançados disponíveis ao público. Vamos ver qual LLM é melhor comparando os dois modelos em termos de multimodalidade, duração do contexto, desempenho e custo.
O que é GPT-4?
GPT-4 é o mais recente modelo de linguagem grande (LLM) desenvolvido pela OpenAI. Ele se baseia nos fundamentos dos modelos GPT-3 mais antigos, ao mesmo tempo que usa diferentes técnicas de treinamento e otimizações usando um conjunto de dados muito maior. Isso aumentou significativamente o tamanho dos parâmetros do GPT-4, que supostamente tem um total combinado de 1,7 trilhão de parâmetros de seus modelos especialistas menores. Com o novo treinamento, otimizações e maior número de parâmetros, o GPT-4 fornece melhorias no raciocínio, resolução de problemas, compreensão do contexto e melhor manuseio de instruções diferenciadas.
Existem atualmente três variações do modelo:
- GPT-4: Uma evolução do GPT-3 com melhorias significativas em velocidade, precisão e base de conhecimento.
- Turbo GPT-4: Uma versão otimizada do GPT-4, projetada para oferecer desempenho mais rápido e ao mesmo tempo reduzir custos operacionais.
- GPT-4o (Omni): Expande a capacidade do GPT-4 integrando entradas e saídas multimodais, incluindo texto, visão e áudio.
Agora você pode acessar todos os três modelos GPT-4 assinando os serviços API da OpenAI, interagindo com ChatGPT ou por meio de serviços como Descript, Perplexity AI e vários copilotos da Microsoft.
O que é Lhama 3?
Llama 3 é um LLM de código aberto desenvolvido pela Meta AI (empresa controladora do Facebook, Instagram e WhatsApp), treinado usando uma combinação de ajuste fino supervisionado, amostragem de rejeição e otimização de políticas com um conjunto de dados diversificado, incluindo milhões de anotações humanas. exemplos. Seu treinamento focou em prompts de alta qualidade e classificações de preferência, com o objetivo de criar um modelo de IA versátil e capaz.
Atualmente existem dois modelos Llama 3 disponíveis ao público: Llama 3 8B e Llama 3 70B. O “B” significa bilhão, apontando para o tamanho do parâmetro do modelo. A Meta também está treinando um modelo Llama 3 400B, com lançamento previsto para o final de 2024.
Você pode acessar o Llama 3 através do Meta AI, seu chatbot generativo de IA. Alternativamente, você pode executar os LLMs localmente em seu computador baixando os modelos do Llama 3 e carregando-os através do Ollama, Open WebUI ou LM Studio.
Multimodalidade
O lançamento do GPT-4o finalmente atendeu à comercialização inicial do GPT-4 com capacidades multimodais. Esses recursos multimodais agora podem ser acessados interagindo com ChatGPT usando o modelo GPT-4o. Em junho de 2024, o GPT-4o não possui nenhuma forma integrada de geração de vídeo e áudio. No entanto, possui recursos para gerar texto e imagens com base em entradas de vídeo e áudio.
O Llama 3 também está planejando fornecer um modelo multimodal para o próximo Llama 3 400B. Provavelmente integrará tecnologias semelhantes ao CLIP (Contrast Language-Imager Pre-Training) para gerar imagens usando técnicas de aprendizagem zero-shot. Mas como o Llama 400B ainda está em treinamento, a única maneira dos modelos 8B e 70B gerarem imagens é usar extensões como LLaVa, Visual-LLaMA e LLaMA-VID. A partir de agora, o Llama 3 é puramente um modelo baseado em linguagem que pode usar texto, imagem e áudio como entradas para gerar texto.
Comprimento do contexto
O comprimento do contexto refere-se à quantidade de texto que um modelo pode processar de uma vez. É um fator importante ao considerar a capacidade de um LLM, pois determina a quantidade de contexto com o qual o modelo pode trabalhar ao interagir com os usuários. Em geral, um comprimento de contexto maior torna um LLM melhor, pois fornece um nível mais alto de coerência, continuidade e pode reduzir repetições de erros durante as interações.
Os modelos Llama 3 apresentam um comprimento de contexto de efetivamente 8.000 tokens (aproximadamente 6.400 palavras). Isso significa que um modelo Llama 3 terá uma memória de contexto de cerca de 6.400 palavras em sua interação. Quaisquer palavras que ultrapassem o limite de 8.000 tokens serão esquecidas e não fornecerão nenhum contexto adicional durante a interação.
Em contraste, o GPT-4 agora suporta um comprimento de contexto significativamente maior de 32.000 tokens (cerca de 25.600 palavras) para usuários do ChatGPT e 128.000 tokens (cerca de 102.400 palavras) para aqueles que usam endpoints de API. Isso dá aos modelos GPT-4 uma vantagem no gerenciamento de conversas extensas e a capacidade de ler documentos longos ou até mesmo um livro inteiro.
Desempenho
Vamos comparar o desempenho observando o relatório de benchmark Llama 3 de 18 de abril de 2024 da Meta AI e o relatório GPT-4 de 14 de maio de 2024 do GitHub da OpenAI. Aqui estão os resultados:
Veja o que cada critério avalia:
- MMLU (Compreensão Massiva de Linguagem Multitarefa): Avalia a capacidade do modelo de compreender e responder a perguntas em uma variedade de disciplinas acadêmicas.
- GPTQA (resposta a perguntas de uso geral): Avalia a habilidade do modelo em responder questões factuais de domínio aberto
- MATEMÁTICA: Teste a capacidade do modelo de resolver problemas matemáticos.
- Avaliação Humana: Mede a capacidade do modelo de gerar código correto com base em instruções de programação fornecidas por humanos.
- DROP (raciocínio discreto sobre parágrafos): Avalia a capacidade do modelo de realizar raciocínio discreto e responder perguntas com base em trechos de texto.
Os benchmarks recentes destacam a diferença de desempenho entre os modelos GPT-4 e Llama 3. Embora o modelo Llama 3 8B pareça estar significativamente atrasado, os modelos 70B e 400B fornecem resultados inferiores, mas semelhantes aos modelos GPT-4o e GPT-4 Turbo em termos de conhecimento acadêmico e geral, leitura e compreensão, raciocínio e lógica, e codificação. No entanto, nenhum modelo Llama 3 chegou perto do desempenho do GPT-4 em termos de matemática pura.
Custo
O custo é um fator crítico para muitos usuários. O modelo GPT-4o da OpenAI está disponível gratuitamente para todos os usuários do ChatGPT com um limite de 16 mensagens a cada 3 horas. Se precisar de mais, você terá que assinar o ChatGPT Plus, que custa US$ 20 por mês para expandir o limite de mensagens do GPT-4o para 80 e também ter acesso aos outros modelos GPT-4.
Por outro lado, os modelos Llama 3 8B e 70B são gratuitos e de código aberto, o que pode ser uma vantagem significativa para desenvolvedores e pesquisadores que procuram uma solução econômica sem comprometer o desempenho.
Acessibilidade
Os modelos GPT-4 são amplamente acessíveis por meio do chatbot de IA generativo ChatGPT da OpenAI e por meio de sua API. Você também pode usar o GPT-4 no Microsoft Copilot, que é uma maneira de usar o GPT-4 gratuitamente. Essa ampla disponibilidade garante que os usuários possam aproveitar facilmente seus recursos em diferentes casos de uso. Por outro lado, o Llama 3 é um projeto de código aberto que oferece flexibilidade de modelo e incentiva experimentação e colaboração mais amplas dentro da comunidade de IA. Esta abordagem de acesso aberto pode democratizar a tecnologia de IA, tornando-a disponível para um público muito mais vasto.
Embora ambos os modelos estejam prontamente disponíveis, o GPT-4 é muito mais fácil de usar porque está integrado a ferramentas e serviços de produtividade populares. Por outro lado, o Llama 3 está integrado principalmente em plataformas de pesquisa e negócios como Amazon Bedrock, Ollama e DataBricks (exceto para suporte de bate-papo Meta AI), o que não atrai o mercado maior de usuários não técnicos.
GPT-4 vs. Lhama 3: Qual é melhor?
Então, qual LLM é melhor? Eu diria que GPT-4 é o melhor LLM. O GPT-4 se destaca em multimodalidade com recursos avançados no tratamento de entradas de texto, imagem e áudio, enquanto os recursos semelhantes do Llama 3 ainda estão em desenvolvimento. O GPT-4 também oferece um comprimento de contexto muito maior e melhor desempenho e é amplamente acessível por meio de ferramentas e serviços populares, tornando-o mais fácil de usar.
No entanto, é importante destacar que os modelos Llama 3 tiveram um desempenho excepcionalmente bom para um projeto gratuito e de código aberto. Como resultado, o Llama 3 continua sendo um LLM de destaque, preferido por pesquisadores e empresas por sua natureza gratuita e de código aberto, ao mesmo tempo que oferece desempenho impressionante, flexibilidade e recursos de privacidade confiáveis. Embora os consumidores em geral possam não encontrar uso imediato para o Llama 3, ele continua sendo a opção mais viável para muitos pesquisadores e empresas.
Concluindo, embora o GPT-4 se destaque por suas capacidades multimodais avançadas, maior comprimento de contexto e integração perfeita em ferramentas amplamente utilizadas, o Llama 3 oferece uma alternativa valiosa com sua natureza de código aberto, permitindo maior personalização e economia de custos. Assim, em termos de aplicação, o GPT-4 é ideal para quem busca facilidade de uso e recursos abrangentes em um modelo, enquanto o Llama 3 é adequado para desenvolvedores e pesquisadores que buscam flexibilidade e adaptabilidade.
Apoie o nosso trabalho ❤️
Se você gostou deste artigo, considere deixar uma gorjeta para nos ajudar a continuar publicando conteúdo de qualidade.
