Como nós identificamos os bots no Twitter Bitcoin Testbed Research Center

Botometer é um sistema de aprendizado de máquina desenvolvido por pesquisadores da Universidade do Sul da Califórnia e da Universidade de Indiana. O sistema foi desenvolvido para detectar o comportamento de robôs baseados em modelos em um conjunto de dados de mais de 30.000 contas que foram primeiro verificadas por pesquisadores humanos como bots ou não bots. O botômetro “lê” mais de mil características diferentes ou “recursos” para cada conta e atribui à conta uma pontuação entre 0 e 1. Quanto maior a pontuação, maior a probabilidade de a conta ser automatizada. A ferramenta tem sido usada em vários estudos acadêmicos e outras pesquisas independentes.

Como outros fizeram no passado, tivemos que dizer se uma conta poderia ser razoavelmente suspeita de usar a automação – ser um bot. Portanto, definimos um limite que selecionamos para minimizar dois tipos de erros.


Uma pontuação muito alta no botômetro faria com que muitos bots fossem erroneamente classificados contas humanas – também conhecido como falso negativo. Por outro lado, se definirmos um limite muito baixo, teríamos rotulado falsamente muitas contas humanas como bots – um falso positivo.

Que tipo de erro é “pior”? É uma questão complicada e a resposta depende do que você quer alcançar. Queríamos dar uma olhada mais de perto na disseminação de links de compartilhamento do Twitter baseados no Twitter, com um tamanho de 10.000 pés. Portanto, definimos o limite para maximizar a precisão.

Uma pontuação muito alta no botômetro teria resultado em muitos robôs sendo erroneamente classificados como contas humanas – falso-negativo. Por outro lado, se definirmos um limite muito baixo, teríamos rotulado muito contas humanas como robôs – um falso positivo.

Para fazer isso, analisamos um subconjunto de contas do Twitter em nosso estudo e usamos os resultados para determinar qual limiar botométrico minimizava a proporção de resultados falso-positivos e falso-negativos na amostra maior.

Essa análise, baseada em julgamentos humanos, é uma alternativa à escolha de um limiar arbitrário do qual os desenvolvedores de botômetros explicitamente desencorajam. Eventualmente, nossos testes nos permitiram definir um limite de 0,43, o que equivale ao que a equipe do botômetro encontrou para maximizar a precisão de uma grande amostra.

Também voltamos e analisamos as contas que o Twitter descontinuou como parte de seus esforços para melhorar a plataforma desde a coleta de dados. Descobrimos que as contas que assumimos como robôs foram expostas a taxas mais altas do que as contas que identificamos como humanas.

Sim, existe. Algumas pessoas que leram nosso estudo apontaram depois de testar suas próprias contas do Twitter em relação ao nosso limite. Mas é importante lembrar que calibramos esse limite para obter uma estimativa aproximada do papel que os robôs desempenham na geração de links de tweets, não para determinar se as contas individuais são robôs , Se esse fosse o nosso objetivo, poderíamos ter usado um método diferente que estava mais focado na minimização falsos positivos.

Erros de medição são uma parte natural de aprendizado de máquina, e a medição científica continua. Por exemplo, as pesquisas também incluem erros de medição que podem resultar de perguntas mal formuladas ou respostas distraídas, além dos erros de amostragem mais conhecidos. Então não é surpreendente ver falsos positivos ou falsos negativos ao usar este sistema.

Muitas contas institucionais do Twitter – como agências de notícias que twitam vários links para o mesmo artigo todos os dias – podem mostrar um comportamento semelhante a um bot, mesmo que não sejam robôs. Como seus estudos consideraram tais relatos?

Nós reconhecemos isso como um problema em potencial. Se as contas institucionais são responsáveis ​​por uma quantidade significativa de links twittados, nossa compreensão do comportamento do robô pode ser muito diferente. Por isso, fizemos um teste para ver qual poderia ser o impacto dessas contas “verificadas”. Removemos as contas auditadas classificadas como contas de bot e executamos novamente nossa análise. Descobrimos que os percentuais de links selecionados pelos robôs eram quase idênticos, com ou sem contas auditadas. Isso nos permitiu acreditar que nossos resultados não se deviam principalmente a essas contas institucionais auditadas.

O aprendizado de máquina pode ser uma ferramenta valiosa para pesquisa. Isso pode ser especialmente útil ao verificar grandes volumes de dados de mídia social ou outros dados de rastreamento digital na Internet. Na verdade, o Pew Research Center expandiu sua pesquisa em aprendizado de máquina nos últimos anos.

Nós também sabemos disso aprendizado de máquina é um campo em crescimento e ainda há alguma incerteza em como algumas abordagens funcionam. Acreditamos que a melhor maneira de alavancar essa ferramenta é ser transparente sobre as decisões que tomamos, ser aberto sobre a possibilidade de erros e ser cautelosos na interpretação de nossos resultados. Nós nos esforçamos para progredir no processamento de linguagem natural, estatísticas aplicadas e aprendizado de máquina, e estamos ansiosos para explorar seus benefícios e limitações.