IA emocional e design capcioso: a questão da soberania para a subjetividade

Autores

DOI:

https://doi.org/10.18617/liinc.v20i2.7311

Palavras-chave:

Soberania do sujeito, Regulação de IA, Inferência de emoções, Design comportamental

Resumo

Este artigo aborda a questão da soberania digital não somente como questão política e econômica, mas no âmbito do sujeito e da subjetividade ou da relação humano-máquina. Focalizaremos dois domínios em que a questão da soberania do sujeito se coloca de forma mais explícita: os sistemas de IA voltados para a inferência automatizada de características emocionais e psicológicas e a incorporação de padrões obscuros de design herdados da economia comportamental na construção das plataformas. Nos dois casos, analisaremos as implicações para a questão da soberania do sujeito e para o debate sobre regulação da IA a partir da pergunta disparadora: que modalidade de soberania do sujeito poderia ser proposta em plataformas de IA? Discutimos como na tentativa de impor barreiras à manipulação ou à influência insidiosa sobre indivíduos e populações, os marcos regulatórios correm o risco de reivindicar, de um lado, um sujeito plenamente autônomo e livre de influências ou, de outro, um sujeito definitivamente vulnerável que precisa ser protegido. Apontamos como nenhum desses extremos se sustenta quando se trata de compreender como as subjetividades, os processos psicológicos e emocionais são interpelados em plataformas de IA. Concluímos, por fim, que nos ambientes digitais, plataformas e aplicações de IA visados nesse artigo, a soberania do sujeito ou da subjetividade não pode ser assegurada de modo definitivo no plano individual nem no plano jurídico. Ela é, antes, um problema sociotécnico e tecnopolítico coletivo a ser continuamente trabalhado e revisado.

Biografia do Autor

  • Fernanda Glória Bruno, UFRJ

    Afiliação: Programa de Pós-Graduação em Comunicação e Cultura, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil.

    Titulação: Doutora em Comunicação pelo Programa de Pós-Graduação de Comunicação e Cultura da UFRJ.

  • Paulo Faltay, UFPE

    Afiliação: Programa de Pós-Graduação em Comunicação, Universidade Federal de Pernambuco, Recife, PE, Brasil.

    Titulação: Doutor em Comunicação pelo Programa de Pós-Graduação de Comunicação e Cultura da UFRJ.

  • Alice Lerner Garcia, UFRJ

    Programa de Pós-Graduação em Comunicação e Cultura, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil.

    Titulação: Graduada em Design pela PUC-Rio.

  • Helena Strecker Gomes Carvalho, UFRJ

    Afiliação: Programa de Pós-Graduação em Comunicação e Cultura, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil.

    Titulação: Graduada em Psicologia pela Universidade Federal do Rio de Janeiro.

Referências

ADA LOVELACE INSTITUTE, 2019. Beyond face value: public attitudes to facial recognition technology. Ada Lovelace Institute. [Acesso em 16 março 2024]. Disponível em: https://www.adalovelaceinstitute.org/report/beyond-face-value-public-attitudes-to-facial-recognition-technology/

AI NOW INSTITUTE, 2019. AI in 2019: A Year in Review. AI Now Institute, 2019. [Acesso em: 16 mar. 2024]. Disponível em: https://ainowinstitute.org/news/ai-in-2019-a-year-in-review

ALLEN, Seamus, 2021. European Sovereignty In: The Digital Age. Europe’s Digital Future. [Acesso em 29 setembro 2024]. Disponível em: https://www.iiea.com/publications/european-sovereignty-in-the-digital-age

AMADEU, Sérgio, 2023. Inteligência local, soberania digital e soberania de dados. In: PENTEADO, C. C; PELLEGRINI, J. C.; SILVEIRA, Sérgio Amadeu (Orgs.) Plataformização, inteligẽncia artificial e soberania de dados. 1. ed. São Paulo: Ação Educativa, v. 1. 198p .

ARIELY, Dan, 2006. Predictably irrational: The hidden forces that shape our decisions. New York, NY: HarperCollins Publishers.

​​BARBOSA, Alexandre, 2022. A soberania digital sustentável como base para o futuro da Internet. Comciência. 2022. [Acesso em 29 setembro 2024]. Disponível em: https://www.comciencia.br/a-soberania-digital-sustentavel-como-base-para-o-futuro-da-internet

BENTES, Anna, 2022. Da Madison Avenue ao Vale do Silício: ciências comportamentais do engajamento, tecnologias de influência e economia da atenção. 2022. Tese (Doutorado em em Comunicação e Cultura) – Escola de Comunicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ.

BIRHANE, Abeba, 2021. Algorithmic injustice: a relational ethics approach. Patterns. 2021. v. 2, n. 2, p. 100205–100205. [Acesso em 28 fevereiro 2024]. Disponível em: https://www.sciencedirect.com/science/article/pii/S2666389921000155

BRIGNULL, Harry, 2010. Dark Patterns: dirty tricks designers use to make people do stuff. 90 Percent Of Everything, 8 jul. 2010. [Acesso em: 6 maio 2024]. Disponível em: https://90percentofeverything.com/2010/07/08/dark-patterns-dirty-tricks-designers-use-to-make-people-do-stuff/index.html

BRUNO, Fernanda, 2018. A economia psíquica dos algoritmos: quando o laboratório é mundo. Nexo jornal, 12 de junho de 2018. [Acesso em 19 fevereiro 2024]. Disponível em: https://www.nexojornal.com.br/a-economia-psiquica-dos-algoritmos-quando-o-laboratorio-e-o-mundo

BRUNO, Fernanda; BENTES, Anna; FALTAY, Paulo, 2019. Economia psíquica dos algoritmos e laboratório de plataforma: mercado, ciência e modulação do comportamento. Revista FAMECOS. 2019. v. 26, n. 3. [Acesso em 19 fev 2024]. Disponível em: https://revistaseletronicas.pucrs.br/ojs/index.php/revistafamecos/article/view/33095

BRUNO, Fernanda, 2022. Racionalidade algorítmica & subjetividade maquínica. IN: SANTAELLA, Lucia (Org.). Simbioses do Humano e Tecnologias: Impasses, Dilemas, Desafios. São Paulo, SP: Editora da Universidade de São Paulo/IEA-USP.

BROWNE, Simone, 2010. Digital Epidermalization: Race, Identity and Biometrics. Critical Sociology. 2010. v. 36, n. 1, 131–150. [Acesso em 1 maio 2024]. Disponível em: doi:10.1177/0896920509347144

BUCHER, Taina, 2018. If… Then: Algorithmic power and politics. Oxford, England: Oxford University Press.

CARDON, Dominique; JEAN-PHILIPPE COINTET; MAZIÈRES, Antoine; et al, 2018. Neurons spike back. Reseaux. 2018. v. 211, n. 5, p. 173–220. [Acesso em 6 maio 2024]. Disponível em: https://www.cairn-int.info/abstract-E_RES_211_0173--neurons-spike-back.htm

COALIZÃO DIREITOS NA REDE, 2023. Projeto de lei nº 2338/2023 - Nota técnica. Agosto de 2023. [Acesso em: 5 mai. 2024]. Disponível em: https://direitosnarede.org.br/2023/08/23/coalizao-direitos-na-rede-divulga-nota-tecnica-sobre-o-pl-2338-2023-que-busca-regular-a-ia/

CRAWFORD, Kate, 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. New Haven: Yale University Press.

D’ALMONTE, E. F., & SANTOS, A, 2024. O. Regulamentação das plataformas digitais: entre a soberania digital e o transnacionalismo. E-Compós. 2024, ahead of print. [Acesso em 1 out. 2024]. Disponível em: https://www.e-compos.org.br/e-compos/article/view/2876

EKMAN, Paul; FRIESEN, Wallace V, 1971. Constants across cultures in the face and emotion. Journal of Personality and Social Psychology. 1971. v. 17, n. 2, 124–129. [Acesso em 1 maio 2024]. Disponível em: https://doi.org/10.1037/h0030377

EUROPEAN PARLIAMENT, 2024. Artificial Intelligence Act. 13 mar. 2024. [Acesso em 24 abril 2024]. Disponível em: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.pdf.

FALTAY, Paulo, 2020. Máquinas paranoides e sujeito influenciável: conspiração, conhecimento e subjetividade em redes algorítmicas. Tese (Doutorado em Comunicação e Cultura) – Escola de Comunicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ.

FREUD, Sigmund, 2010. Uma dificuldade da psicanálise (1917). Em: História de uma neurose infantil ("o homem dos lobos"), além do princípio do prazer e outros textos. São Paulo, SP: Companhia das Letras.

GAGO, Veronica; MEZZADRA, Sandro, 2017. A Critique of the Extractive Operations of Capital: Toward an Expanded Concept of Extractivism. Rethinking Marxism. 2017. v.4, n. 29, p 574-591. [Acesso em 1 maio 2024]. Disponível em: https://doi.org/10.1080/08935696.2017.1417087

GILLESPIE, Tarleton, 2014. The relevance of algorithms. In T. Gillespie, P. Boczkowski, & K. Foot (Eds.), Media technologies: Essays on communication, materiality, and society (pp. 167–194). MIT Press.

GROSMAN, Jéremy; REIGELUTH, Tyler. Perspectives on algorithmic normativities: engineers, objects, activities. Big Data & Society, n. 6, v. 2, 2019. https://doi.org/10.1177/20539517198587

GUATTARI, Félix, 1988. O inconsciente maquínico: ensaios de esquizo-análise. Tradução: Constança Marcondes César e Lucy Moreira César. Campinas: Editora Papirus.

______, 1992. Caosmose: um novo paradigma estético. Tradução: Ana Lúcia de Oliveira e Lúcia Cláudia Leão. São Paulo: Ed. 34.

HALL, Erika, 2013. Just Enough Research. New York: A Book Apart.

‌HELMOND, Anne, 2015. The Platformization of the Web: Making Web Data Platform Ready. Social Media + Society. 2015. v. 1, n. 2. [Acesso em 6 maio 2024]. Disponível em: https://journals.sagepub.com/doi/10.1177/2056305115603080

KAHNEMAN, Daniel, 2012. Rápido e Devagar: Duas Formas de Pensar. Rio de Janeiro, RJ: Editora Objetiva.

KRIZHEVSKY, Alex; SUTSKEVER, Ilya ; HINTON, Geoffrey E, 2012. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems (NIIPS, Lake Tahoe), 2012. [Acesso em 15 abr. 2024]. Disponível em: https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html

LEISER, Mark, 2024. Psychological Patterns and Article 5 of the AI Act: AI-Powered Deceptive Design in the System Architecture and the User Interface. Journal of AI law and Regulation. 2024. v.1, n.1, p. 5-23. [Acesso em 20 abril 2024]. Disponível em: https://research.vu.nl/en/publications/psychological-patterns-and-article-5-of-the-ai-act-ai-powered-dec

LYON, David, 2001. Under My Skin: From Identification Papers to Body Surveillance. J. Caplan and J. Torpey (eds) Documenting Individual Identity: The Development of State Practices in the Modern World, pp. 291–310. Princeton University Press: Princeton, NJ.

MCNEE, Sean M; RIEDL, John ; KONSTAN, Joseph A, 2006. Being accurate is not enough: How accuracy metrics have hurt recommender systems. Proceedings of the 2006 Conference on Human Factors in Computing Systems, Montréal, Québec, Canada, April 22-27, 2006. [Acesso em 06 maio 2024]. Disponível em: https://dl.acm.org/doi/10.1145/1125451.1125659

MCSTAY, Andrew, 2018. Emotional AI: The rise of empathic media. London: SAGE Publications Ltd.

MCSTAY, Andrew; PAVLISCAK, P, 2019. Emotional Artificial Intelligence: Guidelies for Ethical Use. [Acesso em 1 maio 2024]. Disponível em: https://drive.google.com/file/d/1frAGcvCY_v25V8ylqgPF2brTK9UVj_5Z/view

NADLER, Anthony; MCGUIAN, Lee, 2017. An impulse to exploit: the behavioral turn in data-driven marketing. Critical Studies in Media Communication. 2017. v. 35, n. 2, pp. 151–165. [Acesso em 6 maio 2024]. Disponível em: https://doi.org/10.1080/15295036.2017.1387279

OARD, Douglas W; KIM, Jinmook, 1998. Implicit Feedback for Recommender Systems. Scholar Commons. 1998. [Acesso em 6 maio 2024]. Disponível em: https://scholarcommons.sc.edu/libsci_facpub/111/

RICAURTE, Paola, 2022. Ethics for the majority world: AI and the question of violence at scale. Media, Culture & Society. 2022. v. 44, n. 4. [Acesso em 22 abril 2024]. Disponível em: https://journals.sagepub.com/doi/full/10.1177/01634437221099612

RHUE, Lauren, 2018. Racial Influence on Automated Perceptions of Emotions. Social Science Research Network, 2018 [Acesso em 1 maio 2024]. Disponível em: http://dx.doi.org/10.2139/ssrn.3281765

SEAVER, Nick, 2018. Captivating algorithms: Recommender systems as traps. Journal of Material Culture. 2018. v. 24, n. 4, p. 421–436. [Acesso em 25 outubro 2021]. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1359183518820366

SHIELDS, Stephanie, 2002. Speaking from the heart: Gender and the social meaning of emotion. Cambridge University Press, 2002.

STARK, Luke, 2018. Algorithmic Psychometrics and the Scalable Subject. Social Studies of Science. 2018. v. 48, n. 2, p. 204-231. [Acesso em 1 maio 2024]. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3154778

TURING, Alan, 1950. Computing Machinery and Intelligence. Mind, New Series. 1950. Vol. 59, No. 236. p. 433-460.

ZUBOFF, Shoshana, 2021. A era do capitalismo de vigilância: a luta por um futuro humano na nova fronteira do poder. Rio de Janeiro, RJ: Intrínseca.

Downloads

Publicado

18/12/2024

Edição

Seção

IA e a questão da soberania

Como Citar

IA emocional e design capcioso: a questão da soberania para a subjetividade. Liinc em Revista, [S. l.], v. 20, n. 2, 2024. DOI: 10.18617/liinc.v20i2.7311. Disponível em: https://revista.ibict.br/liinc/article/view/7311. Acesso em: 3 abr. 2025.