O Google anunciou recentemente que o Gemini 1.5 Pro aumentaria de uma janela de contexto de token de 1 milhão para 2 milhões. Isso parece impressionante, mas o que é um token afinal?
Em sua essência, até mesmo os chatbots precisam de ajuda para processar o texto que recebem para que possam entender conceitos e se comunicar com você de forma humana. Isso é realizado usando um sistema de token no espaço de IA generativa que divide os dados para que sejam mais facilmente digeríveis pelos modelos de IA.
O que é um token de IA?
Um token de IA é a menor unidade em que uma palavra ou frase pode ser dividida ao ser processada por um modelo de linguagem grande (LLM). Os tokens são responsáveis por palavras, sinais de pontuação ou subpalavras, que permitem que os modelos analisem e interpretem texto de forma eficiente e, subsequentemente, gerem conteúdo de forma semelhante baseada em unidades. Isso é semelhante a como um computador converterá dados em zeros e uns Unicode para facilitar o processamento. Os tokens permitem que um modelo determine um padrão ou relacionamento dentro de palavras e frases para que eles possam prever termos futuros e responder no contexto do seu prompt.
Quando você insere um prompt, a frase e as palavras são longas demais para um chatbot interpretar como estão – elas devem ser divididas em pedaços menores antes que o LLM possa processar a solicitação. Elas são convertidas em tokens, então a solicitação é enviada e analisada, e uma resposta é retornada para você.
O processo de transformar texto em tokens é chamado de tokenização. Existem muitos métodos de tokenizaçãoque pode diferir com base em variantes, incluindo instruções de dicionário, combinações de palavras, idioma, etc. Por exemplo, o método de tokenização baseado em espaço divide as palavras com base nos espaços entre elas. A frase “Está chovendo lá fora” seria dividida nos tokens ‘Está’, ‘chovendo’, ‘lá fora’.
Como funcionam os tokens de IA?
O conversão geral de tokens a quebra seguida no espaço de IA generativa denota que um token equivale a aproximadamente quatro caracteres em inglês — ou 3/4 de uma palavra — e 100 tokens equivalem a aproximadamente 75 palavras. Outras conversões sugerem que uma a duas frases equivalem a cerca de 30 tokens, um parágrafo equivale a cerca de 100 tokens e 1.500 palavras equivalem a cerca de 2.048 tokens.
Seja você um usuário geral, um desenvolvedor ou uma empresa, o programa de IA que você está usando está empregando tokens para executar suas tarefas. Uma vez que você começa a pagar por serviços de IA generativa, você está pagando por tokens para manter o serviço em seu nível ótimo.
A maioria das marcas de IA generativa também tem regras básicas sobre como os tokens funcionam em seus modelos de IA. Muitas empresas têm limitações de token, que colocam um limite no número de tokens que podem ser processados em um turno. Se a solicitação for maior do que o limite de tokens em um LLM, a ferramenta não conseguirá concluir uma solicitação em um único turno. Por exemplo, se você inserir um artigo de 10.000 palavras para tradução em um GPT com um limite de 4.096 tokens, ele não conseguirá processá-lo completamente para dar uma resposta detalhada porque tal solicitação exigiria pelo menos 15.000 tokens.
No entanto, as empresas têm avançado rapidamente as capacidades de seus LLMs, aumentando a limitação de tokens com novas versões. O modelo BERT baseado em pesquisa do Google tinha um comprimento máximo de entrada de 512 tokens. O GPT-3.5 LLM da OpenAI, que executa a versão gratuita do ChatGPT, tem um máximo de 4.096 tokens de entrada, enquanto seu GPT-4 LLM, que executa a versão paga do ChatGPT, tem um máximo de 32.768 tokens de entrada. Isso equivale a aproximadamente 64.000 palavras ou 50 páginas de texto.
O Gemini 1.5 Pro do Google, que fornece funcionalidade de áudio para o AI Studio da marca, tem uma janela de contexto padrão de 128.000 tokens. O Claude 2.1 LLM tem um limite de até 200.000 tokens de contexto. Isso equivale a aproximadamente 150.000 palavras ou 500 páginas de texto.
Quais são os diferentes tipos de tokens de IA?
Há vários tipos de tokens usado no espaço de IA generativa que permite que LLMs identifiquem as menores unidades disponíveis para análise. Aqui estão alguns dos principais tokens que são de interesse para um modelo de IA.
- Tokens de palavras são palavras que representam unidades únicas por si só, como “pássaro”, “casa” ou “televisão”.
- Tokens de subpalavra são palavras que podem ser truncadas em unidades menores, como dividir terça-feira em “terça-feira” e “dia”.
- Tokens de pontuação substituir sinais de pontuação, incluindo vírgulas (,), pontos (.) e outros.
- Fichas numéricas substituir os números, incluindo o número “10”.
Tokens especiais podem anotar diversas instruções exclusivas na execução de consultas e dados de treinamento.
Quais são os benefícios dos tokens?
Existem vários benefícios para tokens no espaço de IA generativa. Primeiramente, eles agem como um conector entre a linguagem humana e a linguagem de computador ao trabalhar com LLMs e outros processos de IA. Os tokens ajudam os modelos a processar grandes quantidades de dados de uma só vez, o que é especialmente benéfico em espaços empresariais que usam LLMs. As empresas podem trabalhar com limites de token para otimizar o desempenho dos modelos de IA. À medida que futuras versões de LLM forem introduzidas, os tokens permitirão que os modelos tenham uma memória maior por meio de limites mais altos ou janelas de contexto.
Outros benefícios dos tokens estão nos aspectos de treinamento dos LLMs. Como são unidades pequenas, podem ser usados para facilitar a otimização da velocidade de processamento de dados. Devido à natureza preditiva dos tokens, eles têm uma maior compreensão dos conceitos e melhoram as sequências ao longo do tempo. Os tokens auxiliam na implementação de aspectos multimodais, como imagens, vídeos e áudio em LLMs, juntamente com chatbots de texto para fala.
Os tokens também têm alguns segurança de dados e benefícios de custo-benefício, devido à configuração Unicode que protege dados vitais e trunca textos mais longos em uma versão simplificada.
Apoie o nosso trabalho ❤️
Se você gostou deste artigo, considere deixar uma gorjeta para nos ajudar a continuar publicando conteúdo de qualidade.
