IA emocional e design capcioso: a questão da soberania para a subjetividade
DOI:
https://doi.org/10.18617/liinc.v20i2.7311Palavras-chave:
Soberania do sujeito, Regulação de IA, Inferência de emoções, Design comportamentalResumo
Este artigo aborda a questão da soberania digital não somente como questão política e econômica, mas no âmbito do sujeito e da subjetividade ou da relação humano-máquina. Focalizaremos dois domínios em que a questão da soberania do sujeito se coloca de forma mais explícita: os sistemas de IA voltados para a inferência automatizada de características emocionais e psicológicas e a incorporação de padrões obscuros de design herdados da economia comportamental na construção das plataformas. Nos dois casos, analisaremos as implicações para a questão da soberania do sujeito e para o debate sobre regulação da IA a partir da pergunta disparadora: que modalidade de soberania do sujeito poderia ser proposta em plataformas de IA? Discutimos como na tentativa de impor barreiras à manipulação ou à influência insidiosa sobre indivíduos e populações, os marcos regulatórios correm o risco de reivindicar, de um lado, um sujeito plenamente autônomo e livre de influências ou, de outro, um sujeito definitivamente vulnerável que precisa ser protegido. Apontamos como nenhum desses extremos se sustenta quando se trata de compreender como as subjetividades, os processos psicológicos e emocionais são interpelados em plataformas de IA. Concluímos, por fim, que nos ambientes digitais, plataformas e aplicações de IA visados nesse artigo, a soberania do sujeito ou da subjetividade não pode ser assegurada de modo definitivo no plano individual nem no plano jurídico. Ela é, antes, um problema sociotécnico e tecnopolítico coletivo a ser continuamente trabalhado e revisado.
Referências
ADA LOVELACE INSTITUTE, 2019. Beyond face value: public attitudes to facial recognition technology. Ada Lovelace Institute. [Acesso em 16 março 2024]. Disponível em: https://www.adalovelaceinstitute.org/report/beyond-face-value-public-attitudes-to-facial-recognition-technology/
AI NOW INSTITUTE, 2019. AI in 2019: A Year in Review. AI Now Institute, 2019. [Acesso em: 16 mar. 2024]. Disponível em: https://ainowinstitute.org/news/ai-in-2019-a-year-in-review
ALLEN, Seamus, 2021. European Sovereignty In: The Digital Age. Europe’s Digital Future. [Acesso em 29 setembro 2024]. Disponível em: https://www.iiea.com/publications/european-sovereignty-in-the-digital-age
AMADEU, Sérgio, 2023. Inteligência local, soberania digital e soberania de dados. In: PENTEADO, C. C; PELLEGRINI, J. C.; SILVEIRA, Sérgio Amadeu (Orgs.) Plataformização, inteligẽncia artificial e soberania de dados. 1. ed. São Paulo: Ação Educativa, v. 1. 198p .
ARIELY, Dan, 2006. Predictably irrational: The hidden forces that shape our decisions. New York, NY: HarperCollins Publishers.
BARBOSA, Alexandre, 2022. A soberania digital sustentável como base para o futuro da Internet. Comciência. 2022. [Acesso em 29 setembro 2024]. Disponível em: https://www.comciencia.br/a-soberania-digital-sustentavel-como-base-para-o-futuro-da-internet
BENTES, Anna, 2022. Da Madison Avenue ao Vale do Silício: ciências comportamentais do engajamento, tecnologias de influência e economia da atenção. 2022. Tese (Doutorado em em Comunicação e Cultura) – Escola de Comunicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ.
BIRHANE, Abeba, 2021. Algorithmic injustice: a relational ethics approach. Patterns. 2021. v. 2, n. 2, p. 100205–100205. [Acesso em 28 fevereiro 2024]. Disponível em: https://www.sciencedirect.com/science/article/pii/S2666389921000155
BRIGNULL, Harry, 2010. Dark Patterns: dirty tricks designers use to make people do stuff. 90 Percent Of Everything, 8 jul. 2010. [Acesso em: 6 maio 2024]. Disponível em: https://90percentofeverything.com/2010/07/08/dark-patterns-dirty-tricks-designers-use-to-make-people-do-stuff/index.html
BRUNO, Fernanda, 2018. A economia psíquica dos algoritmos: quando o laboratório é mundo. Nexo jornal, 12 de junho de 2018. [Acesso em 19 fevereiro 2024]. Disponível em: https://www.nexojornal.com.br/a-economia-psiquica-dos-algoritmos-quando-o-laboratorio-e-o-mundo
BRUNO, Fernanda; BENTES, Anna; FALTAY, Paulo, 2019. Economia psíquica dos algoritmos e laboratório de plataforma: mercado, ciência e modulação do comportamento. Revista FAMECOS. 2019. v. 26, n. 3. [Acesso em 19 fev 2024]. Disponível em: https://revistaseletronicas.pucrs.br/ojs/index.php/revistafamecos/article/view/33095
BRUNO, Fernanda, 2022. Racionalidade algorítmica & subjetividade maquínica. IN: SANTAELLA, Lucia (Org.). Simbioses do Humano e Tecnologias: Impasses, Dilemas, Desafios. São Paulo, SP: Editora da Universidade de São Paulo/IEA-USP.
BROWNE, Simone, 2010. Digital Epidermalization: Race, Identity and Biometrics. Critical Sociology. 2010. v. 36, n. 1, 131–150. [Acesso em 1 maio 2024]. Disponível em: doi:10.1177/0896920509347144
BUCHER, Taina, 2018. If… Then: Algorithmic power and politics. Oxford, England: Oxford University Press.
CARDON, Dominique; JEAN-PHILIPPE COINTET; MAZIÈRES, Antoine; et al, 2018. Neurons spike back. Reseaux. 2018. v. 211, n. 5, p. 173–220. [Acesso em 6 maio 2024]. Disponível em: https://www.cairn-int.info/abstract-E_RES_211_0173--neurons-spike-back.htm
COALIZÃO DIREITOS NA REDE, 2023. Projeto de lei nº 2338/2023 - Nota técnica. Agosto de 2023. [Acesso em: 5 mai. 2024]. Disponível em: https://direitosnarede.org.br/2023/08/23/coalizao-direitos-na-rede-divulga-nota-tecnica-sobre-o-pl-2338-2023-que-busca-regular-a-ia/
CRAWFORD, Kate, 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. New Haven: Yale University Press.
D’ALMONTE, E. F., & SANTOS, A, 2024. O. Regulamentação das plataformas digitais: entre a soberania digital e o transnacionalismo. E-Compós. 2024, ahead of print. [Acesso em 1 out. 2024]. Disponível em: https://www.e-compos.org.br/e-compos/article/view/2876
EKMAN, Paul; FRIESEN, Wallace V, 1971. Constants across cultures in the face and emotion. Journal of Personality and Social Psychology. 1971. v. 17, n. 2, 124–129. [Acesso em 1 maio 2024]. Disponível em: https://doi.org/10.1037/h0030377
EUROPEAN PARLIAMENT, 2024. Artificial Intelligence Act. 13 mar. 2024. [Acesso em 24 abril 2024]. Disponível em: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.pdf.
FALTAY, Paulo, 2020. Máquinas paranoides e sujeito influenciável: conspiração, conhecimento e subjetividade em redes algorítmicas. Tese (Doutorado em Comunicação e Cultura) – Escola de Comunicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ.
FREUD, Sigmund, 2010. Uma dificuldade da psicanálise (1917). Em: História de uma neurose infantil ("o homem dos lobos"), além do princípio do prazer e outros textos. São Paulo, SP: Companhia das Letras.
GAGO, Veronica; MEZZADRA, Sandro, 2017. A Critique of the Extractive Operations of Capital: Toward an Expanded Concept of Extractivism. Rethinking Marxism. 2017. v.4, n. 29, p 574-591. [Acesso em 1 maio 2024]. Disponível em: https://doi.org/10.1080/08935696.2017.1417087
GILLESPIE, Tarleton, 2014. The relevance of algorithms. In T. Gillespie, P. Boczkowski, & K. Foot (Eds.), Media technologies: Essays on communication, materiality, and society (pp. 167–194). MIT Press.
GROSMAN, Jéremy; REIGELUTH, Tyler. Perspectives on algorithmic normativities: engineers, objects, activities. Big Data & Society, n. 6, v. 2, 2019. https://doi.org/10.1177/20539517198587
GUATTARI, Félix, 1988. O inconsciente maquínico: ensaios de esquizo-análise. Tradução: Constança Marcondes César e Lucy Moreira César. Campinas: Editora Papirus.
______, 1992. Caosmose: um novo paradigma estético. Tradução: Ana Lúcia de Oliveira e Lúcia Cláudia Leão. São Paulo: Ed. 34.
HALL, Erika, 2013. Just Enough Research. New York: A Book Apart.
HELMOND, Anne, 2015. The Platformization of the Web: Making Web Data Platform Ready. Social Media + Society. 2015. v. 1, n. 2. [Acesso em 6 maio 2024]. Disponível em: https://journals.sagepub.com/doi/10.1177/2056305115603080
KAHNEMAN, Daniel, 2012. Rápido e Devagar: Duas Formas de Pensar. Rio de Janeiro, RJ: Editora Objetiva.
KRIZHEVSKY, Alex; SUTSKEVER, Ilya ; HINTON, Geoffrey E, 2012. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems (NIIPS, Lake Tahoe), 2012. [Acesso em 15 abr. 2024]. Disponível em: https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
LEISER, Mark, 2024. Psychological Patterns and Article 5 of the AI Act: AI-Powered Deceptive Design in the System Architecture and the User Interface. Journal of AI law and Regulation. 2024. v.1, n.1, p. 5-23. [Acesso em 20 abril 2024]. Disponível em: https://research.vu.nl/en/publications/psychological-patterns-and-article-5-of-the-ai-act-ai-powered-dec
LYON, David, 2001. Under My Skin: From Identification Papers to Body Surveillance. J. Caplan and J. Torpey (eds) Documenting Individual Identity: The Development of State Practices in the Modern World, pp. 291–310. Princeton University Press: Princeton, NJ.
MCNEE, Sean M; RIEDL, John ; KONSTAN, Joseph A, 2006. Being accurate is not enough: How accuracy metrics have hurt recommender systems. Proceedings of the 2006 Conference on Human Factors in Computing Systems, Montréal, Québec, Canada, April 22-27, 2006. [Acesso em 06 maio 2024]. Disponível em: https://dl.acm.org/doi/10.1145/1125451.1125659
MCSTAY, Andrew, 2018. Emotional AI: The rise of empathic media. London: SAGE Publications Ltd.
MCSTAY, Andrew; PAVLISCAK, P, 2019. Emotional Artificial Intelligence: Guidelies for Ethical Use. [Acesso em 1 maio 2024]. Disponível em: https://drive.google.com/file/d/1frAGcvCY_v25V8ylqgPF2brTK9UVj_5Z/view
NADLER, Anthony; MCGUIAN, Lee, 2017. An impulse to exploit: the behavioral turn in data-driven marketing. Critical Studies in Media Communication. 2017. v. 35, n. 2, pp. 151–165. [Acesso em 6 maio 2024]. Disponível em: https://doi.org/10.1080/15295036.2017.1387279
OARD, Douglas W; KIM, Jinmook, 1998. Implicit Feedback for Recommender Systems. Scholar Commons. 1998. [Acesso em 6 maio 2024]. Disponível em: https://scholarcommons.sc.edu/libsci_facpub/111/
RICAURTE, Paola, 2022. Ethics for the majority world: AI and the question of violence at scale. Media, Culture & Society. 2022. v. 44, n. 4. [Acesso em 22 abril 2024]. Disponível em: https://journals.sagepub.com/doi/full/10.1177/01634437221099612
RHUE, Lauren, 2018. Racial Influence on Automated Perceptions of Emotions. Social Science Research Network, 2018 [Acesso em 1 maio 2024]. Disponível em: http://dx.doi.org/10.2139/ssrn.3281765
SEAVER, Nick, 2018. Captivating algorithms: Recommender systems as traps. Journal of Material Culture. 2018. v. 24, n. 4, p. 421–436. [Acesso em 25 outubro 2021]. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1359183518820366
SHIELDS, Stephanie, 2002. Speaking from the heart: Gender and the social meaning of emotion. Cambridge University Press, 2002.
STARK, Luke, 2018. Algorithmic Psychometrics and the Scalable Subject. Social Studies of Science. 2018. v. 48, n. 2, p. 204-231. [Acesso em 1 maio 2024]. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3154778
TURING, Alan, 1950. Computing Machinery and Intelligence. Mind, New Series. 1950. Vol. 59, No. 236. p. 433-460.
ZUBOFF, Shoshana, 2021. A era do capitalismo de vigilância: a luta por um futuro humano na nova fronteira do poder. Rio de Janeiro, RJ: Intrínseca.
Downloads
Publicado
Edição
Seção
Licença
Copyright (c) 2024 Fernanda Glória Bruno, Paulo Faltay, Alice Lerner Garcia, Helena Strecker Gomes Carvalho

Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Autores que publicam na Liinc em Revista concordam com os seguintes termos:
Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Atribuição 4.0 Internacional, que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
Consulte a Política de Acesso Livre e Autoarquivamento para informações permissão de depósitos de versões pré-print de manuscritos e artigos submetidos ou publicados à/pela Liinc em Revista.
Liinc em Revista, publicada pelo Instituto Brasileiro de Informação em Ciência e Tecnologia, é licenciada sob os termos da Licença Creative Commons Atribuição 4.0 Internacional – CC BY 4.0