No Google I/O 2023, o gigante das buscas finalmente revelou PaLM 2seu mais recente modelo de linguagem grande de uso geral. O PaLM 2 é a base sobre a qual vários produtos do Google estão sendo construídos, incluindo o Google Generative AI Search, o Duet AI no Google Docs e Gmail, o Google Bard e muito mais. Mas o que exatamente é o modelo de IA do Google PaLM 2? Ele é melhor que o GPT-4? Ele suporta plugins? Para responder a todas as suas perguntas, leia nossa explicação detalhada sobre o modelo de IA do PaLM 2 lançado pelo Google.
O que é o modelo de IA PaLM 2 do Google?
PaLM 2 é o mais recente Large Language Model (LLM) lançado pelo Google que é altamente capaz em raciocínio avançado, codificação e matemática. Ele também é multilíngue e oferece suporte a mais de 100 idiomas. O PaLM 2 é um sucessor do anterior Pathways Language Model (PaLM), lançado em 2022.
A primeira versão do PaLM foi treinada em 540 bilhões de parâmetros, tornando-o um dos maiores LLMs existentes. No entanto, em 2023, o Google lançou o PaLM 2, que é muito menor em tamanho, mas é mais rápido e mais eficiente do que a concorrência.
No PaLM 2 Relatório técnico de 92 páginaso Google não mencionou o tamanho do parâmetro, mas de acordo com um TechCrunch relatórioum dos Os modelos PaLM 2 são treinados apenas em 14,7 bilhões de parâmetrosque é muito menor que o PaLM 1 e outros modelos competitivos. Alguns pesquisadores no Twitter dizem que o maior modelo PaLM 2 provavelmente é treinado em 100 bilhões de parâmetros, o que ainda é muito menor do que o da concorrência.
Para lhe dar uma ideia, o modelo GPT-4 da OpenAI é supostamente treinado em 1 trilhão parâmetros, o que é simplesmente alucinante. O modelo GPT-4 é pelo menos 10 vezes maior que o PaLM 2.
Como o Google tornou o PaLM 2 menor?
No blog oficialo Google diz que maior nem sempre é melhor e a criatividade em pesquisa é a chave para criar grandes modelos. Aqui, por “criatividade em pesquisa”, o Google provavelmente está se referindo ao Aprendizado por Reforço a partir do Feedback Humano (RLHF), dimensionamento otimizado de computaçãoe outras técnicas inovadoras.
O Google não revelou qual criatividade de pesquisa está empregando no PaLM 2, mas parece que a empresa pode estar usando LoRA (adaptação de baixa classificação)ajuste de instruções e conjuntos de dados de qualidade para obter melhores resultados, apesar de usar um modelo relativamente menor.
No geral, o PaLM 2 é um modelo LLM que é mais rápido, relativamente menor e econômico porque ele serve a menos parâmetros. Ao mesmo tempo, ele traz capacidades como raciocínio de senso comum, melhor interpretação lógica, matemática avançada, conversação multilíngue, domínio de codificação e muito mais. Esse era o básico do modelo PaLM 2, agora vamos em frente e aprender sobre seus recursos em detalhes.
Quais são os principais recursos do PaLM 2?
Como mencionado acima, o PaLM 2 é mais rápido, altamente eficiente e tem um custo de serviço menor. Além disso, ele traz vários recursos avançados. Para começar, o PaLM 2 é muito bom em raciocínio de senso comum. O Google, de fato, diz que os recursos de raciocínio do PaLM 2 são competitivo com GPT-4. Testando no teste de senso comum WinoGrande, o PaLM 2 pontuou 90,2 enquanto o GPT-4 alcançou 87,5. No teste ARC-C, o GPT-4 pontuou um nível mais alto e alcançou 96,3 enquanto o PaLM 2 pontuou 95,1. Em outros testes de raciocínio, incluindo DROP, StrategyQA, CSQA e alguns outros, o PaLM 2 supera o GPT-4.
Não apenas isso, devido à sua capacidade multilíngue, o PaLM 2 pode entender expressões idiomáticas, poemas, textos matizados e até mesmo enigmas em outras línguas. Ele vai além do significado literal das palavras e entende o significado ambíguo e figurativo atrás das palavras. Isso ocorre porque o PaLM 2 foi pré-treinado em textos multilíngues paralelos de vários idiomas. Além disso, o corpus de dados multilíngues de alta qualidade torna o PaLM 2 ainda mais poderoso. Como resultado, a tradução e outros aplicativos semelhantes funcionam muito melhor no PaLM 2.
Em seguida, chegamos às suas capacidades de codificação. O Google diz que o PaLM 2 é novamente treinado em um grande corpus de conjuntos de dados de código-fonte de qualidade disponíveis no domínio público. Como resultado, ele suporta mais de 20 linguagens de programação, que incluem Python, JavaScrupt, C, C++ e até mesmo linguagens mais antigas como Prolog, Fortran e Verilog. Ele também pode gerar código, oferecer sugestões sensíveis ao contexto, traduzir código de uma linguagem para outra, adicionar funções com apenas um comentário e muito mais.
O que o modelo PaLM 2 pode fazer?
Primeiro, deixe-me dizer que o PaLM 2 foi construído para torná-lo adaptável para diferentes casos de uso. O Google anunciou que o PaLM 2 virá em quatro modelos diferentes — Gecko, Lontra, Bisão e Unicórnio; Gecko é o menor e Unicórnio é o maior.
O Gecko é tão leve que pode rodar até mesmo em smartphones, estando completamente offline. Ele pode processar 20 tokens por segundo em um telefone principal, que é cerca de 16 palavras por segundo. Isso é incrível, certo? Imagine o tipo de aplicativos no dispositivo com tecnologia de IA que você pode executar em seu smartphone sem exigir uma conexão ativa com a internet ou especificações robustas.
Além disso, O PaLM 2 pode ser ajustado para criar um modelo específico de domínio imediatamente. O Google já criou o Med-PaLM 2, um LLM específico para medicina, ajustado no PaLM 2, que recebeu competência de nível “Expert” em questões do tipo US Medical Licensing Exam. Ele alcançou um precisão de 85,4% no teste USMLEainda maior que o GPT-4 (84%). Dito isso, tenha em mente que o GPT-4 é um LLM de propósito geral e não ajustado para conhecimento médico.
Seguindo em frente, o Google adicionou capacidade multimodal para Med-PaLM 2. Ele pode analisar imagens como raios X e mamografias e chegar a conclusões, em linha com clínicos especialistas. Isso é bastante notável, pois pode trazer acesso médico muito necessário a áreas remotas ao redor do mundo. Além disso, o Google desenvolveu o Sec-PaLM, uma versão especializada do PaLM 2 para análise de segurança cibernética e para detectar rapidamente ameaças maliciosas em nenhum momento.
Produtos do Google com tecnologia PaLM 2
Todos esses são casos de uso diferentes do PaLM 2 em diferentes esferas e indústrias. Quanto aos consumidores individuais, você pode experimentar o PaLM 2 em ação por meio do Google Bard, Google Generative AI Search e Duet AI no Gmail, Google Docs e Google Sheets. O Google recentemente moveu o Bard, seu chatbot de IA interativo, para o PaLM 2 e abriu acesso a mais de 180 países. Você pode seguir nosso artigo e aprender a usar o Google Bard agora mesmo.
Quanto ao uso do PaLM 2 no Gmail, Google Docs e Sheets (o Google o chama de Dueto AI para o Google Workspace), você precisa ingressar no lista de espera para aproveitar os recursos alimentados por IA. Finalmente, para desenvolvedores, o Google tem lançou a API PaLM que é baseado no modelo PaLM 2. Você pode inscrever-se agora mesmo para usar a API PaLM em seus produtos. Ela pode gerar mais de 75 tokens por segundo e tem uma janela de contexto de 8.000 tokens.
PaLM 2 vs GPT-4: Como os modelos de IA se comparam?
Antes de comparar os recursos, uma coisa é clara — o PaLM 2 é rápido. Quero dizer, ele é rápido para responder a consultas, até mesmo perguntas de raciocínio complexas. Não só isso, ele oferece três rascunhos de uma vez, caso você não esteja satisfeito com a resposta padrão. Assim, de um ponto de vista de eficiência e computação, o Google está um ou dois passos à frente do OpenAI. Leia sobre todos os novos recursos do Google Bard AI aqui.
No que diz respeito às capacidades, testamos a capacidade de raciocínio dos modelos e do PaLM 2. O Google Bard realmente brilha em tais testes. De 3 questões de raciocínio, Bard respondeu corretamente a todas as 3, enquanto ChatGPT-4 só conseguiu responder 1 resposta correta. Em um caso, a avaliação de Bard estava errada (parecia alucinar), mas de alguma forma deu a resposta certa.
Além disso, para tarefas de codificação, pedi ao Bard para encontrar um bug no código que forneci, mas ele deu uma resposta longa para corrigir os problemas, que acabou sendo totalmente errada. No entanto, o ChatGPT-4 identificou instantaneamente a sintaxe de codificação, localizou o erro e corrigiu o código sem mais solicitações.
Também atribuí uma tarefa a ambos os modelos para implementar o algoritmo de Dijkstra em Python e ambos os modelos código gerado sem erros. Compilei ambos e nenhuma das funções apresentou erros. Dito isso, o ChatGPT-4 gera código limpo com alguns exemplos, enquanto o Bard implementa apenas a função barebone.
Limitações do Google PaLM 2
Agora, chegando às limitações, já sabemos que os plugins ChatGPT são poderosos e podem melhorar rapidamente as capacidades do GPT-4 em quilômetros. Com apenas o Plugin de Interpretador de Códigoos usuários podem fazer muito mais com o ChatGPT. De fato, o Google também anunciou “Ferramentas” semelhantes a plugins, mas elas ainda não estão ativas e o suporte de terceiros parece fraco no momento. Em paralelo, o suporte do desenvolvedor é enorme para o OpenAI.
Em seguida, o GPT-4 é um modelo multimodal, o que significa que ele pode analisar textos e imagens. A multimodalidade tem vários casos de uso interessantes. Você pode pedir ao ChatGPT para estudar um gráfico, tabela, relatório médico, imagem médica e muito mais. Sim, o recurso ainda não foi adicionado ao ChatGPT, mas vimos uma demonstração inicial e pareceu muito impressionante. Por outro lado, PaLM 2 não é um modelo multimodal pois trata apenas de textos.
O gigante das buscas ajustou o PaLM 2 para criar o Med-PaLM 2, que é de fato multimodal, mas não está aberto para uso público e é limitado apenas ao domínio médico. O Google diz que o modelo de próxima geração chamado Gemini será multimodal com recursos inovadores, mas ainda está sendo treinado e está a meses do lançamento. O Google prometeu trazer suporte ao Lens para o Bard, mas não é o mesmo que um modelo visual alimentado por IA.
Finalmente, em comparação com o GPT-4, O Google Bard tem muitas alucinações (veja um exemplo aquionde Bard pensa que o modelo PaLM AI é criado pela OpenAI). Ele cria informações na hora e responde com confiança com informações falsas. GPT-3 e GPT-3.5 também tiveram um problema semelhante, mas a OpenAI conseguiu reduzir a alucinação em 40% com o lançamento do GPT-4. O Google precisa resolver o mesmo problema de alucinação “com ousadia e responsabilidade.”
Conclusão: PaLM 2 ou GPT-4?
Em resumo, o modelo de IA PaLM 2 do Google melhorou em algumas áreas, como raciocínio avançado, tradução, recursos multilíngues, matemática e codificação. Além disso, ele tem o benefício adicional de executar um modelo menor com desempenho rápido e baixos custos de serviço. No entanto, para atingir a paridade de recursos com o GPT-4, o Google precisa adicionar multimodalidade, ferramentas de terceiros (Plugins), abordar o problema da alucinação e tornar seus modelos de IA o mais amigáveis possível ao desenvolvedor.
Apoie o nosso trabalho ❤️
Se você gostou deste artigo, considere deixar uma gorjeta para nos ajudar a continuar publicando conteúdo de qualidade.
