Privacidade, engajamentos automáticos e detecção de bots do Mailgun

Agora, mais do que nunca, os usuários se preocupam com a privacidade de dados e quais medidas podem tomar para proteger as informações pessoais. E isso é algo que as grandes empresas do setor de tecnologia não podem ignorar por muito mais tempo. À medida que mais consumidores descobrem como os seus dados são usados, diferentes provedores de serviço de caixa de correio (MBPs) e líderes em tecnologia estão mudando a forma como lidam com dados pessoais. Só no ano passado, a Apple mudou a forma de gerenciar aberturas e cliques, criando um evento geral que ocorre sempre que um novo e-mail chega à caixa de entrada.

A privacidade é importante e essencial para cada pessoa que recebe um e-mail — e para os remetentes também. Existem soluções que beneficiam ambas as partes, e o setor está avançando na capacidade de identificar aberturas e cliques de bots sem comprometer a privacidade dos destinatários.

À medida que as práticas recomendadas mudam, nós também mudamos. Por isso, hoje temos o orgulho de anunciar que o recurso de detecção de bots está disponível no Mailgun.

Para o Apple Mail, todas as imagens exclusivas de uma mensagem de e-mail (entregue na caixa de entrada) são pré-buscadas, carregadas e armazenadas em cache em uma CDN. Se você usa o rastreamento de aberturas, essa pré-busca resulta no acionamento de um evento de abertura para o seu ESP, o que pode ser verdadeiro ou não. Do ponto de vista do rastreamento, essa pré-busca cria diferentes problemas, já que as informações que você normalmente obtém desse evento de abertura — informações do dispositivo e localização por meio do endereço IP — ficam ofuscadas: a string do User-Agent retorna como um user-agent genérico `Mozilla/5.0`, e o endereço IP é o do nó da CDN, e não o endereço IP real do destinatário.

O Gmail faz algo semelhante usando o Google Image Proxy. A localização do usuário e as informações de navegador ficam ocultas por uma abertura automática e, em troca, o `User-Agent` é `Mozilla/5.0 (Windows NT 5.1; rv:11.0)` `Gecko Firefox/11.0 (via ggpht.com GoogleImageProxy)`. Embora isso possa ser confundido com uma abertura do usuário, a localização geográfica e as informações do cliente não serão precisas, e o resultado retornará muito rapidamente.

Como resultado dessa mudança, as taxas de abertura aumentaram, mas não porque os destinatários estavam interagindo com os e-mails. Essas métricas infladas deixam os remetentes com uma análise imprecisa do seu engajamento, além de colocar em dúvida até que ponto eles devem confiar nas taxas de abertura ao tomar decisões sobre o e-mail marketing. Dizer que isso deixou o setor de e-mail marketing abalado seria um eufemismo, mas essas mudanças não acabaram completamente com o e-mail.

Após meses de rastreamento do impacto desses engajamentos de bots, uma coisa ficou clara: O e-mail não morreu, mas as taxas de abertura definitivamente não são a métrica mais pura, para começar, quando se trata de engajamento dos destinatários.

Aberturas e cliques de bots por parte dos destinatários vêm inflando as métricas há anos e, embora isso possa ser resolvido com uma lista limpa, os engajamentos automatizados do lado dos MBPs precisavam de uma solução diferente.

As aberturas automáticas se entregam pelo próprio nome: automáticas. Essas aberturas de MBPs de bots retornam resultados na mesma velocidade, se não mais rápido, que o retorno `250 OK`. Os seres humanos têm vidas fora da caixa de entrada de e-mail e, raramente, vão abrir um e-mail no exato momento em que ele chega. Se uma abertura orgânica fosse confundida com a de um bot por nossa solução, o destinatário precisaria ter aberto a mensagem em menos de um segundo após o recebimento. Quão rápido você é no gatilho? Mesmo se for para redefinir a senha ou um recibo de entrega de pacote, pessoas reais sempre vão precisar de um tempo extra para abrir e ler um e-mail.

Como as aberturas de bots são facilmente identificáveis, tudo o que o provedor de serviços de e-mail precisa fazer é criar uma detecção em torno desse fator. No Mailgun, adicionamos um campo ao payload de eventos que informará se uma mensagem é ou não automática, bem como a origem da abertura do bot, no que diz respeito aos MBPs. Ele aparecerá próximo ao topo do payload, como exemplificado aqui:

                                

                                    ``` { "client-info": {  rnrn"client-name": "unknown",  rnrn"client-type": "unknown",  rnrn"user-agent": "Mozilla/5.0",  rnrn"device-type": "unknown",  rnrn"client-os": "unknown",  rnrn"bot": "apple"  rnrn},```
                                
                            

O campo `bot` é onde você verá se uma abertura ou um clique é automático por parte da Apple, do Gmail ou de um engajamento de bot desconhecido, que pode ser um dispositivo de borda como um firewall ou software antispam que busca a imagem de rastreamento da mensagem e registra como um evento de clique ou abertura. O campo de bot oferece uma perspectiva extra sobre o que pode estar afetando as suas taxas de engajamento, permitindo que você entenda muito melhor o desempenho geral do seu programa de e-mail.

Se o User-Agent for exatamente Mozilla/5.0, muito provavelmente é o AMMP, o que nos dá um indicador preciso para detectar especificamente o bot da Apple.

O Gmail ofusca a localização do usuário e os dados de navegador usando uma imagem proxy. Por isso, podemos considerar que as aberturas detectadas com o user agent do Google são o resultado de uma abertura orgânica do usuário, mas não podemos confiar na precisão dos dados geográficos que as acompanham.

Assim como em alguns dos nossos casos extremos desconhecidos, sabe-se que o Google faz a pré-busca da imagem de rastreamento no momento da entrega. Se for o Google, podemos identificar com base no user agent exclusivo e no fato de que a taxa de cliques é inferior a um segundo.

Os mundos do e-mail e da privacidade estão mudando constantemente para melhor. Cabe aos provedores de serviços de e-mail acompanhar essas mudanças, e aqui no Mailgun estamos prontos para fazer exatamente isso. Conseguimos separar com eficácia humanos de bots usando o User-Agent e registros de data e hora, mas no futuro pretendemos adicionar parâmetros extras de engajamento de bots de MBPs à medida que entrarem no espaço de privacidade, e continuaremos a criar recursos mais robustos de detecção de bots para nossos clientes.

Tem alguma ideia para a detecção de bots ou para o Mailgun em geral? Envie-nos uma mensagem no UserVoice — nossos melhores serviços e recursos nascem das suas ideias.

Autor: Travis Walton Travis Walton is an Associate Product Manager at Sinch Mailgun. Previously he was an Enterprise Technical Account Manager and he writes to pass on his deep product knowledge, best practices, and insights into developing solid email strategies.