top of page
Publications
Algorithmic Arbitrariness in Content Moderation
Machine learning (ML) is widely used to moderate online content. Despite its scalability relative to human moderation, the use of ML introduces unique challenges to content moderation. One such challenge is predictive multiplicity: multiple competing models for content classification may perform equally well on average, yet assign conflicting predictions to the same content. This multiplicity can result from seemingly innocuous choices made during training, which do not meaningfully change the accuracy of the ML model, but can nevertheless change what the model gets wrong. We experimentally demonstrate how content moderation tools can arbitrarily classify samples as “toxic,” leading to arbitrary restrictions on speech. We use the principles set by the International Covenant on Civil and Political Rights (ICCPR), namely freedom of expression, non-discrimination, and procedural justice to interpret the effects of these findings in terms of Human Rights. We analyze (i) the extent of predictive multiplicity among popular state-of-the-art LLMs used for detecting “toxic” content; (ii) the disparate impact of this arbitrariness across social groups; and (iii) the magnitude of model multiplicity on content that is unanimously recognized as toxic by human annotators. Our findings indicate that the up-scaled algorithmic moderation risks legitimizing an “algorithmic leviathan”, where an algorithm disproportionately manages human rights. To mitigate such risks, our study underscores the need to identify and increase the transparency of arbitrariness in content moderation applications. Our findings have implications to content moderation and intermediary liability laws being discussed and passed in many countries, such as the Digital Services Act in the European Union, the Online Safety Act in the United Kingdom, and the recent TSE resolutions in Brazil.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.
Algorithmic Arbitrariness in Content Moderation
Machine learning (ML) is widely used to moderate online content. Despite its scalability relative to human moderation, the use of ML introduces unique challenges to content moderation. One such challenge is predictive multiplicity: multiple competing models for content classification may perform equally well on average, yet assign conflicting predictions to the same content. This multiplicity can result from seemingly innocuous choices made during training, which do not meaningfully change the accuracy of the ML model, but can nevertheless change what the model gets wrong. We experimentally demonstrate how content moderation tools can arbitrarily classify samples as “toxic,” leading to arbitrary restrictions on speech. We use the principles set by the International Covenant on Civil and Political Rights (ICCPR), namely freedom of expression, non-discrimination, and procedural justice to interpret the effects of these findings in terms of Human Rights. We analyze (i) the extent of predictive multiplicity among popular state-of-the-art LLMs used for detecting “toxic” content; (ii) the disparate impact of this arbitrariness across social groups; and (iii) the magnitude of model multiplicity on content that is unanimously recognized as toxic by human annotators. Our findings indicate that the up-scaled algorithmic moderation risks legitimizing an “algorithmic leviathan”, where an algorithm disproportionately manages human rights. To mitigate such risks, our study underscores the need to identify and increase the transparency of arbitrariness in content moderation applications. Our findings have implications to content moderation and intermediary liability laws being discussed and passed in many countries, such as the Digital Services Act in the European Union, the Online Safety Act in the United Kingdom, and the recent TSE resolutions in Brazil.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.
Usuários soberanos na era da plataformização: consumo e política como estruturas de
tomada de decisões democráticas
O presente artigo busca elucidar como os dados pessoais de usuários das mídias sociais são re- levantes para ferramentas de personalização da informação e como elas influenciam na frag- mentação social, podendo criar um ambiente virtual problemático para a finalidade demo- crática. O objeto desta pesquisa é a preservação do debate construído sobre informações e fatos para objetivos democráticos, uma vez que a cir- culação de informação nas redes sociais atinge seus usuários através de bolhas informacio- nais – ocasionando o menor acesso à informa- ção plural e contraditória. Serão abordados dois instrumentos para a ocorrência de tal fato: a ar- quitetura de controle, efetuada pelo trabalho algorítmico, e o micro direcionamento de pro- pagandas ou anúncios patrocinados. Ambas téc- nicas são alimentadas pela matéria-prima com- posta pelos dados pessoais dos usuários, tendo como objetivo a aproximação entre anunciante/ vendedor e potenciais consumidores – o que se torna um problema quando esse ambiente de consumo é utilizado para o contexto político- -eleitoral. Com base em alguns exemplos prá- ticos, campanhas eleitorais dos Estados Unidos de 2016 e Brasil 2018 e 2022, busca-se proble- matizar as plataformas para compreender a so- berania política e do consumidor, com base na teoria de Cass Sunstein.

© 2024 Caio C Vieira Machado

bottom of page