IMPLEMENTAÇÃO DE CLUSTERS DE BAIXO CUSTO E ALTO DESEMPENHO COM RASPBERRY PI E APACHE HADOOP: Um mapeamento sistemático
DOI:
https://doi.org/10.21728/p2p.2025v11n2e-7277Palavras-chave:
clusters, alto desempenho, paralelismo, ; Raspberry PI, Apache HadoopResumo
Os avanços tecnológicos têm levado a indústria de computadores ao desenvolvimento de novas arquiteturas de computadores, mais velozes e robustas, denominadas de arquiteturas paralelas, compostas por computadores com múltiplos processadores, que colaboram entre si na solução de problemas complexos, explorando diferentes níveis de paralelismo. Uma alternativa economicamente viável, utilizada para atender a elevada demanda de processamento de dados, bem como os custos com gastos de energia e os problemas causados pelo custo de aquisição e manutenção de supercomputadores, é a utilização de clusters, formados por aglomerados de computadores, homogêneos e/ou heterogêneos, que trabalham de forma distribuída e colaborativa, efetuando o processamento de diversas tarefas paralelas simultâneas, se comportando como um único sistema. Entretanto, para tirar o máximo de eficiência de um cluster é necessário o uso de uma biblioteca de paralelismo, que seja responsável pela comunicação e troca de mensagens entre os equipamentos desse sistema, trabalhando de forma simultânea e distribuída na execução de tarefas complexas, que seja eficiente, confiável, escalável e tolerante a falhas. Além disso, é imprescindível a utilização de uma plataforma de hardware com elevado poder de processamento, que seja de baixo custo de aquisição e possua uma excelente eficiência energética, como é o caso da Raspberry Pi, uma plataforma SBC (Single Board Computer) que possui todos os componentes integrados em uma única placa. Diante desse contexto, este artigo teve por objetivo realizar um mapeamento sistemático de estudos relacionados com a implementação de clusters, que utilizaram como plataforma de hardware a Raspberry Pi e o Apache Hadoop como biblioteca de paralelismo. A metodologia utilizada nesta pesquisa teve um caráter quantitativo, descritivo e exploratório, visando o aprofundamento do tema pesquisado.
Downloads
Referências
ANDREWS, G. R. Foundations of Multithreaded, Parallel, and Distributed Programming. Reading: Addison-Wesley, 2001. 664p.
APACHE HADOOP. Apache Hadoop. 2024. Disponível em: https://hadoop.apache.org/. Acesso em: 26 abr. 2024.
APACHE HADOOP. Apache Hadoop 3.1.3 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/release/3.1.3/RELEASENOTES.3.1.3.html. Acesso em: 20 jun. 2024.
APACHE HADOOP. Apache Hadoop 3.2.0 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/release/3.2.0/RELEASENOTES.3.2.0.html. Acesso em: 20 jun. 2024.
APACHE HADOOP. Apache Hadoop 1.2.1 - Release Notes. 2024. Disponível em: https://hadoop.apache.org/docs/r1.2.1/releasenotes.html. Acesso em: 20 jun. 2024.
ARIZA, J. A.; BAEZ, H. Understanding the role of single‐board computers in engineering and computer science education: A systematic literature review. Computer Applications in Engineering Education, v. 30, n. 1, p. 304-329, 2022.
ASSUNÇÃO, R.; SILVA. A Implementação do Zabbix com Segurança: Um Estudo de Caso Zabbix Safely. Revista Foco, v. 17, n. 4, p. e4851–e4851, 11 abr. 2024.
BACELLAR, H. V. Cluster: Computação de alto desempenho. Instituto de Computação, Universidade Estadual de Campinas. Campinas, São Paulo, 2009.
BARKER, B. Message passing interface (mpi). In: Workshop: High Performance Computing on Stampede. 2015.
BASFORD, P. J.; JOHNSTON, S. J.; PERKINS, C. S.; GARNOCK-JONES, T.; TSO, F. P.; PEZAROS, D.; COX, S. J. Performance analysis of single board computer clusters. Future Generation Computer Systems, v. 102, p. 278-291, 2020.
BERNHOLDT, D. E. Component architectures in the next generation of ultrascale scientific computing: challenges and opportunities. In: Compframe ’07: Proceedings of The 2007 Symposium on Component and Framework Technology in High-Performance and Scientific Computing, 2007, New York, NY, USA. Anais. . . ACM, 2007. p.1–10.
BHOSALE, H. S.; GADEKAR, D. P. A review paper on big data and hadoop. International Journal of Scientific and Research Publications, v. 4, n. 10, p. 1-7, 2014.
BÖTHER, M.; RABL, T. Scale-down experiments on TPCx-HS. In: Proceedings of the International Workshop on Big Data in Emergent Distributed Environments. 2021. p. 1-6.
COSTA, R. A. G. Desempenho e Consumo de Energia de Algoritmos Criptográficos do MiBench em Sistemas Móveis. Universidade Estadual do Amazonas - Amazonas. 2007.
DE FREITAS MUSSI, R. F.; MUSSI, L. M. P. T.; ASSUNÇÃO, E. T. C.; NUNES, C. P. Pesquisa Quantitativa e/ou Qualitativa: distanciamentos, aproximações e possibilidades. Revista Sustinere, v. 7, n. 2, p. 414-430, 2019.
DE OLIVEIRA SILVA, G.; DIAS, W. R. A.; ESCUDERO, D. P. Análise do Desempenho Computacional da Raspberry Pi Executando o Benchmark SysBench. In: Anais Estendidos do XXIII Simpósio em Sistemas Computacionais de Alto Desempenho. SBC, 2022. p. 65-72.
DONGARRA, J. J.; DUFF, I. S.; SORENSEN, D. C.; VAN DER VORST, H. A. Solving Linear Systems on Vector and Shared Memory Computers. Philadelphia, PA: SIAM, 1991.
FULMER, J. Siege. 2024. Disponível em: https://github.com/JoeDog/siege. Acesso em: 25 jun. 2024.
GEPNER, P.; KOWALIK, M. F. Multi-core processors: New way to achieve high system performance. In: International Symposium on Parallel Computing in Electrical Engineering (PARELEC'06). IEEE, 2006. p. 9-13.
GIL, A. C. Métodos e técnicas de pesquisa social. 6ª. Ed. Editora Atlas SA, 2008.
GOLDMAN, A.; KON, F.; JÚNIOR, F. P.; POLATO, I.; FÁTIMA, P. R. Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades. XXXI Jornadas de atualizações em informática, p. 88-136, 2012.
HULLEY, S. B.; CUMMINGS, S. R.; BROWNER, W. S.; GRADY, D. G.; NEWMAN, T. B. Delineando a pesquisa clínica-4. 2015. Artmed Editora.
ISSA, J. A. Performance Evaluation and Estimation Model Using Regression Method for Hadoop WordCount. IEEE Access, v. 3, p. 2784–2793, 2015.
JUNIOR, R. M. C. Avaliação de desempenho de aplicações hadoop em nuvens computacionais. 2023.
KALAPOTHAS, S.; GALETAKIS, M.; FLAMIS, G.; PLESSAS, F.; KITSOS, P. A survey on risc-v-based machine learning ecosystem. Information, v. 14, n. 2, p. 64, 2023.
KOMNINOS, A.; SIMOU, I.; GKORGKOLIS, N.; GAROFALAKIS, J. Performance of raspberry pi microclusters for edge machine learning in tourism. Network (Mbps), v. 100, n. 100, p. 100, 2019.
LIMA, F. D. A; MORENO, E. D.; DIAS, W. R. A. Design and Performance of a Low Cost Cluster using ARM-based Platform. In: Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp), p. 175. 2016.
LEE, E.; OH, H.; PARK, D. Big data processing on single board computer clusters: Exploring challenges and possibilities. IEEE Access, v. 9, p. 142551-142565, 2021.
LOPES, O. U. Pesquisa básica versus pesquisa aplicada. Estudos avançados, v. 5, p. 219-221, 1991.
LTD, R. P. Buy a Raspberry Pi 3 Model B+. 2024. Disponível em: https://www.raspberrypi.com/products/raspberry-pi-3-model-b-plus/. Acesso em: 21 jun. 2024.
MA, C.; ZHAO, M.; ZHAO, Y. An overview of Hadoop applications in transportation big data. Journal of traffic and transportation engineering (English edition), 2023.
MARCONDES, M. M.; DE ARAÚJO, M. A. D.; DE SOUZA, W. J.; DA SILVA, M. G. K. Observatórios sociais e desigualdades no Brasil: Uma análise exploratória e descritiva. Cadernos Gestão Pública e Cidadania, v. 27, n. 86, p. 1-18, 2022.
MENEZES, S. L.; FREITAS, R. S.; PARPINELLI, R. S. Mineraçao em grandes massas de dados utilizando hadoop mapreduce e algoritmos bio-inspirados: Uma revisão sistemática. Revista de Informática Teórica e Aplicada, v. 23, n. 1, p. 69-101, 2016.
NASCIMENTO, E. B.; SOUZA, M. Silva. Cluster e Balanceamento de Carga: Sistemas essenciais de alta disponibilidade. 2020.
NASIR, M.; MUHAMMAD, K.; LLORET, J.; SANGAIAH, A. K.; SAJJAD, M. Fog computing enabled cost-effective distributed summarization of surveillance videos for smart cities. Journal of Parallel and Distributed Computing, v. 126, p. 161-170, 2019.
NAVAUX, P.; DE ROSE, C.; PILLA, L. Fundamentos das arquiteturas para processamento paralelo e distribuído. XI Escola Regional de Alto Desempenho do Estado do Rio Grande do Sul-2011-Porto Alegre, RS, p. 22-59, 2011.
NETO, A. J. A.; NETO, J. A. C.; MORENO, E. D. The development of a low-cost big data cluster using Apache Hadoop and Raspberry Pi. A complete guide. Computers and Electrical Engineering, v. 104, p. 108403, 2022.
NUGROHO, S.; WIDIYANTO, A. Designing parallel computing using raspberry pi clusters for IoT servers on apache Hadoop. In: Journal of Physics: Conference Series. IOP Publishing, 2020. p. 012070.
PITANGA, M. Computação em cluster: o estado da arte da computação. Brasport, 2004.
PENCHALAIAH, N.; AL-HUMAIMEEDY, A. S.; MAASHI, M.; BABU, J. C.; KHALAF, O. I.; ALDHYANI, T. H. Clustered Single-Board Devices with Docker Container Big Stream Processing Architecture. Computers, Materials & Continua, v. 73, n. 3, 2022.
RASPBERRY PI LTD. Buy a Raspberry Pi 3 Model B. 2024. Disponível em: https://www.raspberrypi.com/products/raspberry-pi-3-model-b/. Acesso em: 21 jun. 2024.
RAUPP, F. M.; BEUREN, I. M. Metodologia da pesquisa aplicável às ciências. Como elaborar trabalhos monográficos em contabilidade: teoria e prática. São Paulo: Atlas, p. 76-97, 2006.
SANTOS, A. P. C. Criar um Cluster de Processamento Paralelo MPI com Raspberrys. Revista Programar. 2015. Disponível em: https://www.revista-programar.info/artigos/criar-um-cluster-de-processamento-paralelo-mpi-com-raspberrys/. Acesso em: 17 mar. 2024.
SCHEPKE, C. Ambientes da programação paralela. Trabalho Individual I, Universidade Federal do Rio Grande do Sul/PPGC. 2009.
SHARMA, N. To Perform and Join Cluster High Availability Using Load Balancing Approach. 2020.
SCOLATI, R.; FRONZA, I.; EL IOINI, N.; SAMIR, A.; PAHL, C. A Containerized Big Data Streaming Architecture for Edge Cloud Computing on Clustered Single-board Devices. In: Closer. 2019. p. 68-80.
SCOLATI, R.; FRONZA, I.; EL IOINI, N.; SAMIR, A.; PAHL, C. A containerized edge cloud architecture for data stream processing. In: Cloud Computing and Services Science: 9th International Conference, CLOSER 2019, Heraklion, Crete, Greece, May 2–4, 2019, Revised Selected Papers 9. Springer International Publishing, 2020. p. 150-176.
ZOMAYA, A. Y.; LEE, Y. C. Energy-efficient distributed computing systems. 2012.
Publicado
Edição
Seção
Licença
Copyright (c) 2025 João Fernandes Santos Filho, José Aprígio Carneiro Neto
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
A revista é publicada sob a licença Creative Commons - Atribuição - Uso Não Comercial - Partilha nos Mesmos Termos 4.0 Internacional.
O trabalho publicado é considerado colaboração e, portanto, o autor não receberá qualquer remuneração para tal, bem como nada lhe será cobrado em troca para a publicação.
Os textos são de responsabilidade de seus autores.
É permitida a reprodução total ou parcial dos textos da revista, desde que citada a fonte.
