The audiobook and the reading by an artificial intelligence: intermedial frontiers

Authors

DOI:

https://doi.org/10.18617/liinc.v19i1.6295

Keywords:

Audiobook, E-book, Artificial intelligence, Intermediality, Re-mediation

Abstract

Historically, the audiobook is a type of media that requires recording the reading of a text aloud that can be reproduced in order for it to be mediated. However, what happens when this “reading” is done by Artificial Intelligence in real-time, instantaneously, such as by means of a virtual assistant like Alexa? Can this mediation be seen as an audiobook? With the view that this question is an issue that emerges with the new relations among digital media, the aim of this article is to define what kind of phenomenon this is. Hence, we use Intermediality Studies based on the models proposed by Lars Elleström (2021) and other authors who help us fill in and develop specific gaps in the theory, to find the needed support for this analysis. To expand our discussion, the example used was the e-book and audiobook of The Alchemist, by Paulo Coelho, to compare the reading done by a human being and the “reading” done by Artificial Intelligence. Based on our analysis, the conclusion is that the “reading” carried out by Alexa is in fact an "oralization" (BAJARD, 2014), corresponding to a process of audio decoding of words. Thus, compared to an audiobook read by a human, the result of a transmediation, Alexa’s decoding is a “re-mediation”. In other words, it is a re-exhibition of the material, spatial-temporal, sensorial, and potentially semiotic modalities of an e-book by means of a different technical media of display

Author Biographies

  • Ana Cláudia Munari Domingos , Programa de Pós-Graduação em Sistemas e Processos, Universidade de Santa Cruz do Sul, Santa Cruz do Sul, RS, Brasil

    Professora do Programa de Pós-Graduação em Letras da Universidade de Santa Cruz do Sul. Subcoordenadora dos Cursos de Letras, Letras EaD e Secretariado Executivo da Universidade de Santa Cruz do Sul (2020-atual). Doutora em Letras pela Pontifícia Universidade Católica do Rio Grande do Sul (2011), na área de Teoria da Literatura. Pós-Doutorado em Comparative Studies - Intermediality, na Linnéuniversitetet, Suécia, Linhas de Pesquisa: Estudos literários e midiáticos e Estudos de Mediação em Leitura. Grupos de pesquisa: Genalim (CNPq); Intermídia (CNPq); Literatura, artes e mídias (Anpoll). Projetos de pesquisa: Linguagens e suas tecnologias: intermidialidade e leitura; Intermidialidade: objetos, teorias, metodologias e práticas (Bolsa de Produtividade em Pesquisa CNPq); Linguagens e suas tecnologias: leitura das mídias na Educação Básica. Coordenadora do GT Intermidialidade: Literaturas, Artes e Mídias (2018-atual). Membro do Conselho da Anpoll (2020-atual). Membro do corpo editorial da Revista Rizoma (2021-atual). Atua principalmente nos seguintes temas: Teoria da Literatura; Literatura Comparada; Intermidialidade; Linguagens e suas tecnologias na Educação Básica; Ficção contemporânea; Quadrinhos; Cinema; Leitura das mídias. Email: ana.c.munari@gmail.com.

  • Rejane Frozza, Programa de Pós-Graduação em Sistemas e Processos, Universidade de Santa Cruz do Sul, Santa Cruz do Sul, RS, Brasil

    Possui graduação em Informática pela Pontifícia Universidade Católica do Rio Grande do Sul (1993), mestrado em Computação pela Universidade Federal do Rio Grande do Sul (1997) e doutorado em Computação pela Universidade Federal do Rio Grande do Sul (2004). Realização de estágio doutoral sanduíche na Université Joseph Fourier (Grenoble/France) de 2001 a 2002. Atualmente é professora adjunta da Universidade de Santa Cruz do Sul, Santa Cruz do Sul, RS, no Departamento de Computação e no Programa de Pós-Graduação em Sistemas e Processos Industriais - Mestrado. Tem experiência na área de Computação, com ênfase em Inteligência Artificial, atuando principalmente nos seguintes temas: Sistemas Tutores Inteligentes, Agentes Pedagógicos em Sistemas Virtuais de Aprendizagem, Gestão do Conhecimento, Sistemas Multiagentes, Redes Neurais Artificiais, Sistemas Difusos, Sistemas de Raciocínio Baseado em Casos. ORCID: https://orcid.org/0000-0002-3415-0870. Research ID: A-4548-2019.

References

ADAMOPOULOU, E.; MOUSSIADES, L. Chatbots: History, technology, and applications. Em: Machine Learning with Applications. Vol 2. 2020.

BAJARD, Élie. Ler e dizer: compreensão e comunicação do texto escrito. São Paulo, SP: Cortez, 2014.

BOLTER, Jay David. GRUSIN, Richard. Remediation: Understanding New Media. Cambridge (MA): MIT Press, 2000.

BROCH, José Carlos. O conceito de affordance como estratégia generativa no design de produtos orientado para a versatilidade. [Em linha] Dissertação (Mestrado em Design e Tecnologia). Porto Alegre, RS: Universidade Federal do Rio Grande do Sul. [Acesso em 22 janeiro 2022]. Disponível em: https://www.lume.ufrgs.br/bitstream/handle/10183/25510/000752864.pdf

BRUHN, Jørgen Bruhn; SCHIRRMACHER, Beate. Intermedial studies. Em: BRUHN, Jørgen Bruhn; SCHIRRMACHER, Beate. Intermedial studies: an introduction to meaning across media. Nova York, NY: Routledge, 2022.

CHARMEUX, Eveline. Apprendre à lire: échecá l’échec. Paris: Milan, 1987.

CHION, Michel. The three listening modes. Em: STERNE, Jonathan. The Sound Studies Reader. Nova York, NY: Routledge, 2012.

COELHO, Paulo. O Alquimista. Ledor: Beth Goulart. São Paulo, SP: Paralela, 2021. Audiolivro.

COELHO, Paulo. O Alquimista. São Paulo, SP: Paralela, 2017. E-book.

ELLESTRÖM, Lars. As modalidades das mídias II: um modelo expandido para compreender as relações intermidiais. Tradução: Beatriz Alves Cerveira, Júlia de Oliveira Rodrigues e Juliana de Oliveira Schaidhauer. Porto Alegre: EDIPUCRS, 2021.

ELLESTRÖM, Lars. The Modalities of Media: A Model for Understanding Intermedial Relations. Em: ELLESTRÖM, Lars (ed.). Media Borders, Multimodality and Intermediality. Basingstoke, Inglaterra: Palgrave Macmillan, 2010. p. 11-48.

GOLD, Ben. MORGAN, Nelson. ELLIS, Dan. Speech and audio signal processing: processing and perception of speech and music. Nova Jersey, NJ: Wiley, 2011.

HUANG, Xuedong; ACERO, Alex; HON, Hsiao-Wuen. Spoken Language Processing: A Guide to Theory, Algorithm and System Development. Nova Jersey, NJ: Prentice Hall, 2001.

LECUN, Y., BENGIO, Y., HINTON, G. (2015). Deep learning. Em: Nature, 521(7553), p 436-444.

MITCHELL, T. M. (1997). Machine learning. Burr Ridge, IL: McGraw Hill, 45(37), p. 870-877.

MITCHELL, William John Thomas. Picture Theory: Essays on Verbal and Visual Representation. Chicago: University of Chicago Press, 1994.

RABINER, L. R.; SCHAFER, R. W. Introduction to digital speech processing. Nova Jersey, NJ: Prentice Hall, 2010.

REZENDE, Solange Oliveira. Sistemas Inteligentes – Fundamentos e Aplicações. São Paulo: Manole, 2003.

RUSSEL, Stuart J.; NORVIG, Peter. Inteligência Artificial. Rio de Janeiro: Elsevier, 2004.

JENSEN, Signe Kjær; SALMOSE, Niklas. Media and modalities – Film. In: BRUHN, Jørgen; SCHIRRMACHER, Beate. (Aut.). Intermidial studies: an introduction to meaning across media. 1 ed. Nova York: Routledge, 2022. p. 28-41

SANTAELLA, Lucia. Comunicação Ubíqua: repercussões na cultura e na educação. São Paulo: Paulos, 2013.

SANTAELLA, Lucia. Matrizes da linguagem do pensamento: sonora visual verbal: aplicações na hipermídia. 3ª Ed. São Paulo: Iluminuras, 2005.

SANTAELLA, Lucia. Neo-humano: a sétima revolução do Sapiens. São Paulo: Paulus, 2022. Edição do Kindle.

SONNENSCHEIN, David. Sound design: the expressive power of music, voice, and sound effects in cinema. Michigan: Michael Wiese Productions, 2001.

TAYLOR, Paul. Text-to-Speech Synthesis. Nova York, NY: Cambridge University Press, 2009.

ZUMTHOR, Paul. Perfomance, recepção, leitura. Tradução: Jerusa Pires Ferreira e Suely Fenerich. São Paulo, SP: Ubu Editora, 2018.

ZUMTHOR, Paul. “A poesia e a voz.” In: ZUMTHOR, Paul. Escritura e nomadismo: entrevistas e ensaios. Cotia, SP: Ateliê Editorial, 2005.

Downloads

Published

07/06/2023

Issue

Vol. 19 No. 1 (2023): The Digital, the Traditional, the New Normal? Spaces, Policies, and Agents of Reading

Section

The Digital, the Traditional, the New Normal? Spaces, Policies, and Agents of Reading

License

Copyright (c) 2023 Jaimeson Machado Garcia, Ana Cláudia Munari Domingos , Rejane Frozza

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

How to Cite

GARCIA, Jaimeson Machado; DOMINGOS , Ana Cláudia Munari; FROZZA, Rejane. The audiobook and the reading by an artificial intelligence: intermedial frontiers. Liinc em Revista, [S. l.], v. 19, n. 1, p. e6295, 2023. DOI: 10.18617/liinc.v19i1.6295. Disponível em: https://revista.ibict.br/liinc/article/view/6295. Acesso em: 17 may. 2025.