IMPLEMENTACIÓN DE CLÚSTERES DE ALTO RENDIMIENTO Y BAJO COSTO CON RASPBERRY PI Y APACHE HADOOP: Un mapeo sistemático
DOI:
https://doi.org/10.21728/p2p.2025v11n2e-7277Palabras clave:
clústeres, alto desempeño, paralelismo, Raspberry PI, Apache HadoopResumen
Los avances tecnológicos han llevado a la industria informática a desarrollar nuevas arquitecturas de ordenadores más rápidas y robustas, llamadas arquitecturas paralelas, consistentes en ordenadores con múltiples procesadores que colaboran para resolver problemas complejos, explorando distintos niveles de paralelismo. Una alternativa económicamente viable, utilizada para satisfacer la alta demanda de procesamiento de datos, así como los costos energéticos y los problemas ocasionados por el coste de adquisición y mantenimiento de supercomputadoras, es el uso de clústeres, formados por grupos de ordenadores homogéneos y/o heterogéneos, que trabajan de forma distribuida y colaborativa, procesando varias tareas paralelas simultáneas, comportándose como un solo sistema. Sin embargo, para sacar el máximo provecho de un clúster, es necesario utilizar una librería de paralelismo, que se encarga de la comunicación e intercambio de mensajes entre los equipos de este sistema, trabajando de forma simultánea y distribuida en la ejecución de tareas complejas, que sea eficiente, fiable, escalable y tolerante a fallos. Además, es imprescindible utilizar una plataforma hardware con alto poder de procesamiento, bajo coste de adquisición y excelente eficiencia energética, como la Raspberry Pi, una plataforma SBC (Single Board Computer) que tiene todos los componentes integrados en una sola placa. En este contexto, el presente artículo tuvo como objetivo realizar un mapeo sistemático de estudios relacionados con la implementación de clústeres, que utilizaron como plataforma hardware Raspberry Pi y como biblioteca de paralelismo Apache Hadoop. La metodología utilizada en esta investigación fue cuantitativa, descriptiva y exploratoria, con el objetivo de profundizar en el tema de investigación.
Descargas
Referencias
ANDREWS, G. R. Foundations of Multithreaded, Parallel, and Distributed Programming. Reading: Addison-Wesley, 2001. 664p.
APACHE HADOOP. Apache Hadoop. 2024. Disponível em: https://hadoop.apache.org/. Acesso em: 26 abr. 2024.
APACHE HADOOP. Apache Hadoop 3.1.3 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/release/3.1.3/RELEASENOTES.3.1.3.html. Acesso em: 20 jun. 2024.
APACHE HADOOP. Apache Hadoop 3.2.0 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/release/3.2.0/RELEASENOTES.3.2.0.html. Acesso em: 20 jun. 2024.
APACHE HADOOP. Apache Hadoop 1.2.1 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/r1.2.1/releasenotes.html. Acesso em: 20 jun. 2024.
ARIZA, J. A.; BAEZ, H. Understanding the role of single‐board computers in engineering and computer science education: A systematic literature review. Computer Applications in Engineering Education, v. 30, n. 1, p. 304-329, 2022.
ASSUNÇÃO, R.; SILVA. A Implementação do Zabbix com Segurança: Um Estudo de Caso Zabbix Safely. Revista Foco, v. 17, n. 4, p. e4851–e4851, 11 abr. 2024.
BACELLAR, H. V. Cluster: Computação de alto desempenho. Instituto de Computação, Universidade Estadual de Campinas. Campinas, São Paulo, 2009.
BARKER, B. Message passing interface (mpi). In: Workshop: High Performance Computing on Stampede. 2015.
BASFORD, P. J.; JOHNSTON, S. J.; PERKINS, C. S.; GARNOCK-JONES, T.; TSO, F. P.; PEZAROS, D.; COX, S. J. Performance analysis of single board computer clusters. Future Generation Computer Systems, v. 102, p. 278-291, 2020.
BERNHOLDT, D. E. Component architectures in the next generation of ultrascale scientific computing: challenges and opportunities. In: Compframe ’07: Proceedings of The 2007 Symposium on Component and Framework Technology in High-Performance and Scientific Computing, 2007, New York, NY, USA. Anais. . . ACM, 2007. p.1–10.
BHOSALE, H. S.; GADEKAR, D. P. A review paper on big data and hadoop. International Journal of Scientific and Research Publications, v. 4, n. 10, p. 1-7, 2014.
BÖTHER, M.; RABL, T. Scale-down experiments on TPCx-HS. In: Proceedings of the International Workshop on Big Data in Emergent Distributed Environments. 2021. p. 1-6.
COSTA, R. A. G. Desempenho e Consumo de Energia de Algoritmos Criptográficos do MiBench em Sistemas Móveis. Universidade Estadual do Amazonas - Amazonas. 2007.
DE FREITAS MUSSI, R. F.; MUSSI, L. M. P. T.; ASSUNÇÃO, E. T. C.; NUNES, C. P. Pesquisa Quantitativa e/ou Qualitativa: distanciamentos, aproximações e possibilidades. Revista Sustinere, v. 7, n. 2, p. 414-430, 2019.
DE OLIVEIRA SILVA, G.; DIAS, W. R. A.; ESCUDERO, D. P. Análise do Desempenho Computacional da Raspberry Pi Executando o Benchmark SysBench. In: Anais Estendidos do XXIII Simpósio em Sistemas Computacionais de Alto Desempenho. SBC, 2022. p. 65-72.
DONGARRA, J. J.; DUFF, I. S.; SORENSEN, D. C.; VAN DER VORST, H. A. Solving Linear Systems on Vector and Shared Memory Computers. Philadelphia, PA: SIAM, 1991.
FULMER, J. Siege. 2024. Disponível em: https://github.com/JoeDog/siege. Acesso em: 25 jun. 2024.
GEPNER, P.; KOWALIK, M. F. Multi-core processors: New way to achieve high system performance. In: International Symposium on Parallel Computing in Electrical Engineering (PARELEC'06). IEEE, 2006. p. 9-13.
GIL, A. C. Métodos e técnicas de pesquisa social. 6ª. Ed. Editora Atlas SA, 2008.
GOLDMAN, A.; KON, F.; JÚNIOR, F. P.; POLATO, I.; FÁTIMA, P. R. Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades. XXXI Jornadas de atualizações em informática, p. 88-136, 2012.
HULLEY, S. B.; CUMMINGS, S. R.; BROWNER, W. S.; GRADY, D. G.; NEWMAN, T. B. Delineando a pesquisa clínica-4. 2015. Artmed Editora.
ISSA, J. A. Performance Evaluation and Estimation Model Using Regression Method for Hadoop WordCount. IEEE Access, v. 3, p. 2784–2793, 2015.
JUNIOR, R. M. C. Avaliação de desempenho de aplicações hadoop em nuvens computacionais. 2023.
KALAPOTHAS, S.; GALETAKIS, M.; FLAMIS, G.; PLESSAS, F.; KITSOS, P. A survey on risc-v-based machine learning ecosystem. Information, v. 14, n. 2, p. 64, 2023.
KOMNINOS, A.; SIMOU, I.; GKORGKOLIS, N.; GAROFALAKIS, J. Performance of raspberry pi microclusters for edge machine learning in tourism. Network (Mbps), v. 100, n. 100, p. 100, 2019.
LIMA, F. D. A; MORENO, E. D.; DIAS, W. R. A. Design and Performance of a Low Cost Cluster using ARM-based Platform. In: Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp), p. 175. 2016.
LEE, E.; OH, H.; PARK, D. Big data processing on single board computer clusters: Exploring challenges and possibilities. IEEE Access, v. 9, p. 142551-142565, 2021.
LOPES, O. U. Pesquisa básica versus pesquisa aplicada. Estudos avançados, v. 5, p. 219-221, 1991.
LTD, R. P. Buy a Raspberry Pi 3 Model B+. 2024. Disponível em: https://www.raspberrypi.com/products/raspberry-pi-3-model-b-plus/. Acesso em: 21 jun. 2024.
MA, C.; ZHAO, M.; ZHAO, Y. An overview of Hadoop applications in transportation big data. Journal of traffic and transportation engineering (English edition), 2023.
MARCONDES, M. M.; DE ARAÚJO, M. A. D.; DE SOUZA, W. J.; DA SILVA, M. G. K. Observatórios sociais e desigualdades no Brasil: Uma análise exploratória e descritiva. Cadernos Gestão Pública e Cidadania, v. 27, n. 86, p. 1-18, 2022.
MENEZES, S. L.; FREITAS, R. S.; PARPINELLI, R. S. Mineraçao em grandes massas de dados utilizando hadoop mapreduce e algoritmos bio-inspirados: Uma revisão sistemática. Revista de Informática Teórica e Aplicada, v. 23, n. 1, p. 69-101, 2016.
NASCIMENTO, E. B.; SOUZA, M. Silva. Cluster e Balanceamento de Carga: Sistemas essenciais de alta disponibilidade. 2020.
NASIR, M.; MUHAMMAD, K.; LLORET, J.; SANGAIAH, A. K.; SAJJAD, M. Fog computing enabled cost-effective distributed summarization of surveillance videos for smart cities. Journal of Parallel and Distributed Computing, v. 126, p. 161-170, 2019.
NAVAUX, P.; DE ROSE, C.; PILLA, L. Fundamentos das arquiteturas para processamento paralelo e distribuído. XI Escola Regional de Alto Desempenho do Estado do Rio Grande do Sul-2011-Porto Alegre, RS, p. 22-59, 2011.
NETO, A. J. A.; NETO, J. A. C.; MORENO, E. D. The development of a low-cost big data cluster using Apache Hadoop and Raspberry Pi. A complete guide. Computers and Electrical Engineering, v. 104, p. 108403, 2022.
NUGROHO, S.; WIDIYANTO, A. Designing parallel computing using raspberry pi clusters for IoT servers on apache Hadoop. In: Journal of Physics: Conference Series. IOP Publishing, 2020. p. 012070.
PITANGA, M. Computação em cluster: o estado da arte da computação. Brasport, 2004.
PENCHALAIAH, N.; AL-HUMAIMEEDY, A. S.; MAASHI, M.; BABU, J. C.; KHALAF, O. I.; ALDHYANI, T. H. Clustered Single-Board Devices with Docker Container Big Stream Processing Architecture. Computers, Materials & Continua, v. 73, n. 3, 2022.
RASPBERRY PI LTD. Buy a Raspberry Pi 3 Model B. 2024. Disponível em: https://www.raspberrypi.com/products/raspberry-pi-3-model-b/. Acesso em: 21 jun. 2024.
RAUPP, F. M.; BEUREN, I. M. Metodologia da pesquisa aplicável às ciências. Como elaborar trabalhos monográficos em contabilidade: teoria e prática. São Paulo: Atlas, p. 76-97, 2006.
SANTOS, A. P. C. Criar um Cluster de Processamento Paralelo MPI com Raspberrys. Revista Programar. 2015. Disponível em: https://www.revista-programar.info/artigos/criar-um-cluster-de-processamento-paralelo-mpi-com-raspberrys/. Acesso em: 17 mar. 2024.
SCHEPKE, C. Ambientes da programação paralela. Trabalho Individual I, Universidade Federal do Rio Grande do Sul/PPGC. 2009.
SHARMA, N. To Perform and Join Cluster High Availability Using Load Balancing Approach. 2020.
SCOLATI, R.; FRONZA, I.; EL IOINI, N.; SAMIR, A.; PAHL, C. A Containerized Big Data Streaming Architecture for Edge Cloud Computing on Clustered Single-board Devices. In: Closer. 2019. p. 68-80.
SCOLATI, R.; FRONZA, I.; EL IOINI, N.; SAMIR, A.; PAHL, C. A containerized edge cloud architecture for data stream processing. In: Cloud Computing and Services Science: 9th International Conference, CLOSER 2019, Heraklion, Crete, Greece, May 2–4, 2019, Revised Selected Papers 9. Springer International Publishing, 2020. p. 150-176.
ZOMAYA, A. Y.; LEE, Y. C. Energy-efficient distributed computing systems. 2012.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 João Fernandes Santos Filho, José Aprígio Carneiro Neto
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
A revista é publicada sob a licença Creative Commons - Atribuição - Uso Não Comercial - Partilha nos Mesmos Termos 4.0 Internacional.
O trabalho publicado é considerado colaboração e, portanto, o autor não receberá qualquer remuneração para tal, bem como nada lhe será cobrado em troca para a publicação.
Os textos são de responsabilidade de seus autores.
É permitida a reprodução total ou parcial dos textos da revista, desde que citada a fonte.
