Como funciona a pesquisa reversa de imagens?

Sua imagem média provavelmente vale significativamente menos do que mil palavras – há muito que você pode aprender com selfies. Mas às vezes você realmente precisa saber de onde uma imagem veio, independentemente de quantas palavras ela valha.

Para isso, existem motores de busca reversa de imagens fornecidos por empresas como Google, TinEye, Bing, Yandex, Pixsy e muitos mais. Já que você não está fornecendo palavras em sua consulta, como eles sabem o que procurar? E, o mais importante, como eles o encontram? O modo como a busca reversa de imagens de cada mecanismo de pesquisa funciona varia e eles mantêm seus algoritmos exatos em segredo, mas as ideias básicas estão por aí e não são tão difíceis de entender.

Impressão digital

As imagens podem, na verdade, ser mais exclusivas do que as impressões digitais humanas, já que as chances de duas imagens contendo exatamente o mesmo arranjo de pixels são inimaginavelmente infinitesimais, enquanto a chance de uma colisão de impressões digitais é de cerca de 64 bilhões – probabilidades comparativamente boas. Mas como você imprime uma imagem digital? As etapas variam dependendo do algoritmo, mas a maioria delas segue a mesma fórmula básica.

Primeiro, você deve medir os recursos da imagem, que podem incluir cores, texturas, gradientes, formas, relações entre diferentes partes da imagem e até mesmo coisas como transformadas de Fourier (um método de quebrar imagens em seno e cosseno).

Digamos que estamos procurando a imagem a seguir e precisamos de uma impressão digital dela.

Para fazer isso, podemos, entre outras coisas, usar o histograma de cores da imagem, a transformada de Fourier e o mapa de textura, cada um dos quais você pode ver abaixo.

Se uma imagem fosse redimensionada, desfocada, girada ou manipulada de outra forma, haveria vários algoritmos usando os recursos acima e outros para tentar encontrar ocorrências.

Codificar, armazenar e pesquisar

Cada recurso de imagem na impressão digital pode ser codificado como sequências de letras e números, que são fáceis de armazenar e indexar em um banco de dados. Qualquer combinação de recursos extraída e armazenada se tornará a entrada do mecanismo de busca de imagem reversa para aquela imagem. O banco de dados da TinEye, por exemplo, contém cerca de 39,6 bilhões de imagens indexadas em fevereiro de 2020, o que significa que eles executaram seu algoritmo sobre esse número de fotos e estão armazenando todas as impressões digitais para comparar as imagens pesquisadas.

A segunda parte principal do algoritmo é descobrir quais imagens são semelhantes. Quando você carrega uma imagem, ela passa pelo algoritmo de impressão digital do mecanismo de busca reversa de imagens. O mecanismo de pesquisa tentará encontrar as entradas com as impressões digitais mais próximas, conhecidas como “distância da imagem”. Decidir quais fatores comparar e como ponderá-los também depende de cada mecanismo de pesquisa, mas seu objetivo principal é encontrar uma distância total da imagem o mais próximo possível de zero.

E o aprendizado de máquina / IA?

Graças às técnicas de impressão digital / indexação descritas acima, a pesquisa reversa de imagens era muito boa, mesmo antes de ser prático para aplicar IA a ela. Porém, como a IA é excelente no processamento de imagens, coisas como redes neurais convolucionais (CNNs) estão provavelmente sendo usadas por muitos dos principais mecanismos de pesquisa para ajudar a extrair e rotular recursos. O Google, por exemplo, poderia estar usando uma CNN em sua busca reversa de imagens, permitindo que ele encontrasse prováveis ​​palavras-chave para a imagem e produzisse resultados relevantes para a web e imagens, como vem fazendo no Google Fotos há algum tempo.

Isso leva a pesquisa reversa de imagens um passo acima da simples extração de recursos e distância da imagem. As redes neurais convolucionais basicamente executam imagens por meio de vários filtros que mapeiam vários tipos diferentes de recursos e, em seguida, tentam classificá-los com base no treinamento anterior. É uma simplificação exagerada, é claro, mas basta dizer que as CNNs tornam a pesquisa de imagens muito mais precisa e útil e provavelmente estão sendo implementadas junto com os métodos mais antigos de impressão digital por visão computacional.

Qual é o melhor mecanismo de busca de imagens reversas?

Algoritmos diferentes significam que diferentes mecanismos de busca de imagens são bons em coisas diferentes, embora, em última análise, tenham como objetivo o mesmo objetivo: encontrar uma correspondência para a imagem que você carregou. Imagens do google tem uma taxa de acerto muito boa, por exemplo, mas faz muitas “melhores suposições”, o que resulta em muitas fotos semelhantes, mas não idênticas. Isso é ótimo se você está atrás de um humor ou categoria geral, mas um motor como TinEye está muito mais focado em encontrar imagens idênticas, mesmo se elas forem muito editadas, e pode até identificar imagens dentro de fotos, o que o torna um pouco melhor se você precisar de uma correspondência exata.

O mecanismo de pesquisa russo Yandex também tem a reputação de ter uma excelente ferramenta de pesquisa de imagens, embora, talvez, tenha uma tendência previsível de se dar melhor em tópicos russos. Ferramentas como Pixsy e ImageRaider são focadas na identificação de instâncias de uso não autorizado, então elas tendem a incluir mais recursos como alertas e foco no monitoramento de bibliotecas de fotos do usuário.

Como os algoritmos mudam o tempo todo e geralmente são mantidos bloqueados, vale a pena verificar vários mecanismos diferentes se um deles não retornar os resultados que você deseja.

Créditos da imagem: Steam de uma rua de Nova York, Ícone do banco de dados DB