AVALIAÇÃO DO GRAU DE TRANSPARÊNCIA DAS INFORMAÇÕES ECONÔMICO-FINANCEIRAS DOS PORTAIS DE DADOS ABERTOS ESTADUAIS
Paulo Nascimento dos Santos [1]
Universidade Federal do Mato Grosso do Sul
adj1s3contabilidade@gmail.com
Emanoel Marcos Lima[2]
Universidade Federal do Mato Grosso do Sul
emanoel.lima@ufms.br
______________________________
Resumo
Nas últimas décadas, tem-se observado uma crescente onda em prol da transparência governamental, impulsionada pela demanda por maior accountability e participação pública nas decisões governamentais. Os dados abertos governamentais desempenham um papel crucial neste contexto, pois permitem uma análise e compreensão aprofundadas das ações do governo. Objetivo: avaliar o grau de transparência dos dados abertos governamentais relacionados às informações econômico-financeiras disponibilizadas pelos Portais de Dados Abertos dos Estados Brasileiros, utilizando como referência o modelo OpenGovB de Veljković et al. (2014). Metodologia: Metodologicamente se caracteriza como uma pesquisa exploratória e descritiva de cunho bibliográfico, documental, com análise qualitativa envolvendo a análise dos portais para identificar e avaliar as informações econômico-financeiras apresentadas, seguida de uma inspeção individual dos arquivos para avaliar sua qualidade. Resultados: Os resultados revelaram que os portais dos estados brasileiros apresentaram um grau de transparência abaixo do esperado, com variações entre 30% e 60%. Conclusão: Desafios como problemas de autenticidade, falta de padronização e limitada adesão a formatos abertos foram identificados, indicando a necessidade urgente de melhorias para alcançar os padrões desejados de transparência governamental.
Palavras-Chave: dados abertos governamentais; democracia digital; governo aberto.
EVALUATION OF THE DEGREE OF TRANSPARENCY
OF ECONOMIC AND FINANCIAL INFORMATION ON STATE OPEN DATA PORTALS
Abstract
In recent decades, there has been a growing wave in favor of government transparency, driven by the demand for greater accountability and public participation in government decisions. Open government data plays a crucial role in this context, as it enables in-depth analysis and understanding of government actions. Objective: To assess the degree of transparency of open government data related to economic and financial information made available by the Open Data Portals of Brazilian states, using the OpenGovB model by Veljković et al. (2014) as a reference. Methodology: Methodologically it is characterized as an exploratory and descriptive bibliographic, documentary research, with qualitative analysis involving the analysis of the portals to identify and evaluate the economic-financial information presented, followed by an individual inspection of the files to evaluate their quality. Results: The results revealed that the portals of the Brazilian states presented a degree of transparency below what was expected, with variations between 30% and 60%. Conclusion: Challenges such as authenticity problems, lack of standardization and limited adherence to open formats were identified, indicating the urgent need for improvements to achieve the desired standards of government transparency.
Keywords: open government data; digital democracy; open government.
EVALUACIÓN DEL GRADO DE TRANSPARENCIA
DE LA INFORMACIÓN ECONÓMICA Y FINANCIERA EN LOS PORTALES ESTATALES DE DATOS ABIERTOS
Resumen
En las últimas décadas, se ha producido una creciente ola a favor de la transparencia gubernamental, impulsada por la demanda de una mayor rendición de cuentas y participación pública en las decisiones gubernamentales. Los datos gubernamentales abiertos desempeñan un papel crucial en este contexto, ya que permiten un análisis en profundidad y la comprensión de las acciones gubernamentales. Objetivo: Evaluar el grado de transparencia de los datos abiertos de gobierno relacionados con la información económica y financiera puesta a disposición por los Portales de Datos Abiertos de los estados brasileños, tomando como referencia el modelo OpenGovB de Veljković et al. (2014). Metodología: Metodológicamente se caracteriza como una investigación exploratoria y descriptiva bibliográfica, documental, con análisis cualitativo que implica el análisis de los portales para identificar y evaluar la información económico-financiera presentada, seguido de una inspección individual de los archivos para evaluar su calidad. Resultados: Los resultados revelaron que los portales de los estados brasileños presentaban un grado de transparencia inferior al esperado, con variaciones entre el 30% y el 60%. Conclusión: Se identificaron desafíos como problemas de autenticidad, falta de estandarización y adhesión limitada a formatos abiertos, lo que indica la necesidad urgente de mejoras para alcanzar los estándares deseados de transparencia gubernamental.
Palabras clave: datos gubernamentales abiertos; democracia digital; gobierno abierto.
1 INTRODUÇÃO
Dados abertos emergem como um tópico de crescente relevância no Brasil, demandando uma discussão mais aprofundada e enfática, especialmente considerando a adesão limitada aos padrões internacionalmente reconhecidos, conforme identificado nos portais estaduais. Os benefícios da utilização dos dados abertos, conforme apontado por Giglia e Swan (2012), transcendem os benefícios puramente acadêmicos, estendendo-se ao tecido social mais amplo. No domínio científico, os dados abertos catalisam o acesso, comparação e debate de informações, fomentando a geração de novos conhecimentos. No contexto social, a disponibilização de dados confere aos cidadãos um maior empoderamento, enriquecendo a sua participação e compreensão em esferas políticas, culturais e científicas.
No cenário global, de acordo com Cunha Filho (2019), a promoção da transparência tem ganhado destaque crescente e, no Brasil, constata-se a expansão da transparência em reformas legislativas e em mudanças infralegais com consequências relevantes para o sistema político. Como representações da institucionalização da transparência na administração pública do Brasil, podem-se citar legislações como a Lei de Responsabilidade Fiscal de 2001 (Lei Complementar 101, de 4 de maio de 2000), que consagra a transparência como fundamento fiscal e introduz uma série de mecanismos para a divulgação de informações orçamentárias; e a Lei de Acesso à Informação Ambiental de 2003 (Lei 10.650, de 16 de abril de 2003), que impôs a responsabilidade aos órgãos públicos de disseminar informações ambientais sob sua gestão, dentre outras disposições normativas que são objeto desta pesquisa.
No âmbito da administração pública, os cidadãos assumem a condição de partes interessadas (stakeholders), e os mecanismos de controle por eles exercidos desempenham uma função vital para garantir que o governo atinja seus objetivos de maneira transparente. A garantia de “Accountability” para a sociedade é um dos pilares fundamentais nesse contexto. Nessa constante busca por uma gestão pública que melhor utilize os recursos limitados e escassos, ganha destaque a tendência da transparência na administração pública. Essa abordagem surge como resposta à necessidade de acompanhar a execução dos recursos públicos e fortalecer o controle social exercido pela população em geral.
Dentro do cenário exposto e considerando a relevância crescente da transparência nas ações governamentais, como avaliar o grau de transparência dos dados abertos governamentais disponibilizados pelos entes públicos? Nesse sentido, o presente estudo avalia o grau de transparência dos portais de dados abertos dos Estados Brasileiros por intermédio do modelo OpenGovB, restrito às informações econômico-financeiras, sob a perspectiva dos princípios de Dados Governamentais Abertos, analisando os critérios: autenticidade, compreensibilidade e reutilização dos dados abertos disponibilizados.
A elaboração do presente artigo é parte do resultado da Dissertação intitulada: Avaliação do grau de transparência das informações econômico-financeiras dos portais de dados abertos dos estados brasileiros, apresentada ao Programa de Pós-Graduação em Ciências Contábeis da Universidade Federal de Mato Grosso do Sul, como requisito parcial para obtenção do título de mestre em Ciências. O trabalho mencionado aborda a transformação dos paradigmas na organização e atuação da administração pública, em uma época em que os conceitos de big data são amplamente difundidos, demanda uma compreensão clara a respeito de quais tipos de dados são processados por seus agentes e colaboradores. No Brasil, a junção de diversas fontes normativas possibilita a distinção entre conceitos como dados abertos, dados anonimizados, dados pessoais e informações classificadas e desclassificadas (Cristóvam e Hahn, 2020).
Para tanto, definiu-se como objetivo geral: avaliar o grau de transparência dos dados abertos governamentais relacionados às informações econômico-financeiras disponibilizadas pelos Portais de Dados Abertos dos Estados Brasileiros, utilizando como referência o modelo OpenGovB de Veljković, Bogdanović-Dinić e Stoimenov (2014). Como objetivos específicos, indicam-se: avaliar a transparência das informações econômico-financeiras nos Portais de Dados Abertos dos governos estaduais brasileiros; examinar a autenticidade, compreensibilidade e potencial de reutilização dos dados abertos disponibilizados pelos governos estaduais por fim, identificar áreas de melhoria críticas a partir dos principais achados.
2 MARCO LEGAL DA TRANSPARÊNCIA NO BRASIL
Embora o direito de acesso à informação tenha sido garantido pela Constituição Federal, somente em 2011, com a edição da LAI, foi regulado o acesso dos registros presentes nos documentos públicos e um rol mínimo de informações que os órgãos públicos deveriam disponibilizar, independentemente de solicitação. A LAI destacou-se globalmente ao integrar o paradigma dos Dados Governamentais Abertos (OGD) no contexto do direito à informação (Batista et al., 2013).
Com a promulgação do Decreto n.º 8.777/2016, que estabeleceu a Política de Dados Abertos do Poder Executivo Federal, a temática OGD ganhou relevância significativa na agenda governamental (Possamai e Souza, 2020). Este Decreto introduziu a definição de dados abertos no contexto normativo brasileiro, no inciso III do artigo 2º:
Dados acessíveis ao público, representados em meio digital, estruturados em formato aberto, processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que permita sua livre utilização, consumo ou cruzamento, limitando-se a creditar a autoria ou a fonte.
Atualmente, diversos estados brasileiros já estabeleceram regulamentações específicas para suas políticas de Dados Abertos Governamentais (DAG), em consonância com o Decreto n.º 8.777/2016, e mais recentemente a Lei Federal n.º 14.129/2021 (Lei do Governo Digital). Entretanto, alguns estados ainda possuem regulamentações restritas apenas às exigências da Lei de Acesso à Informação (LAI), aprovada em 2011.
A LAI adota os princípios da divulgação máxima e da restrição das exceções. A partir destes critérios, compreende-se que o acesso é a norma e o sigilo, a exceção. Assim todas as informações coletadas ou armazenadas por qualquer entidade pública são consideradas públicas. O direito de acesso deve abranger a maior variedade de informações, independentemente do formato de armazenamento. A limitação ao acesso está regulamentada em situações específicas e devidamente justificadas (Possamai e Souza, 2020).
Outro importante marco para a transparência governamental foi estabelecido em setembro de 2011, a parceria para o Governo Aberto, Open Government Partnership (OGP), que conta com a participação de mais de 78 países-membros e 76 governos subnacionais. Atualmente, o Brasil está implementando o seu 5.º Plano de Ação Nacional. Trata-se do processo de formulação dos compromissos entre o governo e a sociedade, no intuito de assegurar e reforçar o exercício da cidadania ativa (Controladoria Geral da União - CGU, 2021).
No cenário federal brasileiro, a ampla capacidade orçamentária e financeira, especialmente para investimentos em infraestrutura tecnológica, permite um estágio mais avançado na disponibilização de dados abertos governamentais em comparação com outros entes federativos. No entanto, no âmbito estadual, existem variações significativas: alguns estados se destacam pelo progresso nesse setor, enquanto outros avançam mais lentamente. Essas desigualdades podem ser atribuídas a diversos fatores, como habilidade gerencial, alocação de recursos, percepção da importância da transparência, infraestrutura tecnológica insuficiente, falta de um marco legal consolidado e até menor demanda da sociedade civil por transparência.
Dentro deste parâmetro menciona-se os dados abertos, no âmbito governamental, temática do presente artigo que referem-se a informações disponibilizadas em formatos pré-determinados que permitem sua reutilização por terceiros, possibilitando sua leitura por máquinas e viabilizando a utilização em dispositivos tecnológicos integrantes das tecnologias de informação e comunicação (Ferrer-Sapena et al., 2011). Em sua forma mais básica, dados representam conjuntos de informações brutas, que incluem elementos como valores, nomes, datas e registros.
De acordo com a Controladoria Geral da União - CGU (2018), esses são dados que podem ser livremente acessados, utilizados, modificados e compartilhados por qualquer pessoa, estando sujeitos a, no máximo, exigências que visem preservar sua proveniência e abertura. Assim, parte significativa da agenda de governo aberto e transparência no Brasil é orientada para a produção e difusão de informações e banco de dados sobre as atividades governamentais. Quando contextualizados no cenário governamental, a abertura e a transparência na disponibilização desses dados tornam-se fundamentais.
No Brasil, a implementação das políticas de dados abertos governamentais é orientada por normativas, sendo o Decreto n.º 8.777/2016 um marco importante que estabelece a Política de Dados Abertos do Poder Executivo Federal. Segundo essa política, cada entidade governamental deve desenvolver um Plano de Dados Abertos (PDA) a cada dois anos, detalhando estratégias para a liberação e manutenção de dados públicos, incluindo quais dados serão disponibilizados, seus formatos, cronograma de abertura e restrições de sigilo. Além disso, os órgãos governamentais devem considerar solicitações via Lei de Acesso à Informação (LAI) e realizar consultas públicas para atender às demandas da sociedade por dados específicos.
Em março de 2021, foi aprovada a Lei nº 14.129 (Lei do Governo Digital), que dispõe sobre princípios, regras e instrumentos para o governo digital e para o aumento da eficiência pública. Esta Lei preconiza, em seu artigo 4º, o conceito de dados abertos: “dados acessíveis ao público, representados em meio digital, estruturados em formato aberto, processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que permita sua livre utilização, consumo ou tratamento por qualquer pessoa, física ou jurídica.”
Sobre os dados abertos governamentais, o formato de disponibilização constitui um elemento crucial. A legislação e as políticas públicas do Brasil, apesar de serem amplamente reconhecidas em rankings internacionais pela promoção da abertura de dados, enfrentam obstáculos notáveis no que tange à efetividade dos formatos em que esses dados são publicados. Esta deficiência na implementação prática compromete a usabilidade dos dados, restringindo assim a extensão de sua aplicabilidade e os benefícios que podem oferecer aos usuários (Dominguez, 2017). De acordo com Berners-Lee (2009), um dos criadores do protocolo World Wide Web (www), os dados abertos governamentais são aqueles que são não apenas disponibilizados, mas também facilmente acessíveis em formatos estruturados e compreensíveis por máquinas, permitindo assim sua reutilização e redistribuição.
Diante do crescente volume de dados gerados e da necessidade de preservá-los de maneira eficiente e segura, especialistas em gestão de dados digitais e curadores de repositórios começaram a buscar soluções para garantir a confiabilidade e eficácia desses sistemas. Essa busca levou a uma série de discussões e debates dentro da comunidade científica e entre os profissionais da informação, em que se exploraram diferentes aspectos da gestão de dados, desde a transparência operacional até a sustentabilidade de longo prazo dos repositórios. Estas discussões foram cruciais para moldar um entendimento coletivo sobre os desafios e melhores práticas na preservação digital (Silva et al., 2021).
Segundo Silva et al. (2021), os princípios TRUST foram idealizados após discussões entre membros da Research Data Alliance (RDA). Essa conceituação foi formalmente introduzida como um tópico de discussão da comunidade na 13ª sessão plenária da RDA, ocorrida em 4 de abril de 2019, em Filadélfia, EUA. A Research Data Alliance (RDA) foi lançada como uma iniciativa comunitária em 2013 pela Comissão Europeia, pela Fundação Nacional de Ciência e pelo Instituto Nacional de Padrões e Tecnologia do governo dos Estados Unidos e pelo Departamento de Inovação do governo australiano visando construir a infraestrutura social e técnica para permitir a partilha aberta e a reutilização de dados (Berman e Crosas, 2020).
Os Princípios TRUST visam à padronização e avaliação dos repositórios digitais, abordando cinco áreas essenciais: transparência, responsabilidade, foco no usuário, sustentabilidade e tecnologia. Estes princípios orientam a gestão dos acervos de dados para assegurar o acesso, a integridade e a segurança dos dados, bem como a responsabilidade na curadoria e a adequação às necessidades evolutivas da comunidade de usuários (Silva et al., 2021).
Outra relevante iniciativa são os princípios FAIR, conforme Henning et al. (2019), as primeiras manifestações surgiram no início de 2014, após uma conferência intitulada Jointly designing a data FAIRPORT, com apoio das instituições: Netherlands eScience Center, o Dutch Techcentre for Life Sciences (DTL) e o Centro Lorentz. Durante esta conferência, especialistas e pesquisadores, incluindo membros de institutos de pesquisa, editores, especialistas em web semântica, inovadores e cientistas da computação, reuniram-se para debater os desafios associados ao uso e reuso de dados. As discussões focaram em identificar soluções para esses problemas, com ênfase especial na criação de uma infraestrutura global de dados no âmbito da eScience (Data FAIRport, 2014).
Os Princípios FAIR orientam a gestão eficaz de dados e metadados, enfatizando quatro aspectos fundamentais. Primeiro, a questão da localização dos dados, que exige identificadores globais, persistentes e reconhecíveis para metadados, enriquecidos com informações sobre atualizações, licenciamento e manutenção, e registrados ou indexados em um recurso pesquisável. Quanto à acessibilidade, esta é assegurada pelo uso de um protocolo de comunicação padronizado, livre e universal, permitindo a recuperação de metadados por seus identificadores, mesmo quando os dados originais não estão disponíveis. Em terceiro, a interoperabilidade, que facilita a combinação automática de dados por meio de metadados que utilizam uma linguagem formal, acessível e amplamente aplicável. Por fim, a reutilização, que exige que dados e metadados sejam detalhadamente descritos para facilitar o reuso tanto por pessoas quanto por mecanismos automatizados, permitindo a replicação ou combinação em pesquisas futuras (Lin et al., 2020).
No âmbito da gestão de dados digitais, os princípios FAIR e TRUST, assim como o proposto por Veljković et al. (2014), compartilham um foco comum na avaliação da qualidade e acessibilidade dos dados. Os princípios FAIR e TRUST são voltados para aprimorar a gestão e assegurar a confiabilidade dos repositórios de dados, cobrindo aspectos como a facilidade de localização e acessibilidade dos dados. Por outro lado, o modelo OpenGov avalia os portais de dados abertos governamentais, focando na transparência e na disponibilidade desses dados para o público. Este ponto de intersecção destaca a importância universal da clareza e da facilidade de acesso aos dados, independentemente do contexto em que estão inseridos.
Entretanto, os dois conjuntos de diretrizes divergem em termos de escopo e profundidade técnica. Os princípios FAIR e TRUST apresentam uma aplicabilidade mais ampla, abrangendo qualquer tipo de repositório digital, e detalham aspectos técnicos como interoperabilidade e reusabilidade. Em contraste, o modelo OpenGov é específico para portais de dados abertos governamentais, com um foco mais prático na avaliação da conformidade desses portais com os ideais de governo aberto. Essa diferença reflete a diversidade de abordagens e necessidades na gestão de dados em diferentes setores.
Apesar dessas divergências, os princípios FAIR e TRUST e o modelo OpenGov são complementares em sua abordagem à gestão de dados. Enquanto os princípios FAIR e TRUST estabelecem uma base teórica para a gestão eficaz de dados em diversos contextos, o modelo OpenGov oferece um método mais pragmático e específico para a avaliação de portais de dados abertos governamentais. Juntos, eles fornecem uma visão que pode ser aplicada para avaliar e aprimorar a gestão de dados, combinando diretrizes abrangentes com aplicações práticas. Esta análise integrada realça a importância de considerar tanto a teoria quanto a prática na gestão de dados, garantindo assim uma abordagem mais completa e efetiva.
3 MÉTODOS DA PESQUISA
A elaboração do presente estudo segue os parâmetros da pesquisa exploratória, empregando dados secundários obtidos por meio de pesquisa documental. Tendo como fundamentação o referencial teórico exposto, a pesquisa almejou encontrar um modelo que permitisse aferir o grau de transparência de dados em um cenário regional. Desse modo, optou-se por quantificar a transparência das informações contidas nos conjuntos de dados abertos disponibilizados nos Portais de Dados Abertos dos Estados e, naqueles entes que ainda não possuem um sítio eletrônico específico e padronizado para disponibilização de DAG, foram considerados os dados abertos disponíveis nos Portais de Transparência.
Para a análise dos dados, utilizaram-se métodos estatísticos segundo o referencial teórico proposto por Veljković et al. (2014). No modelo proposto, os dados abertos são empregados como fonte de informações para três indicadores: conjunto de dados, abertura de dados e transparência de dados. O engajamento do cidadão serve como base para os indicadores de participação e colaboração. Os autores destacam nove categorias de dados mais comumente disponíveis nos Portais. Finanças e Economia; Meio-Ambiente; Saúde; Energia; Educação; Transporte; Infraestrutura; Emprego; e População. As categorias estabelecidas fundamentam-se em investigações realizadas em portais de dados abertos de diversos países. Uma categoria é considerada existente se possuir, no mínimo, um conjunto de dados divulgados.
O indicador fundamental do conjunto de dados (BSD) estabelece a presença de um conjunto preestabelecido de elevado valor entre as categorias de dados abertos, atribuindo valores no intervalo entre 0 (zero) e 1 (um). O cálculo é efetuado conforme a equação subsequente:
BSD = n/N (1).
O valor “n” simboliza a quantidade de categorias presentes no portal de dados abertos, ao passo que “N” denota o número total de categorias (N = 9). O valor 0 (zero) sinaliza a ausência de categorias ou a inexistência de conjuntos de dados disponibilizados no portal para as categorias, ao passo que o valor 1 (um) aponta para a presença de todas as categorias.
Tendo em vista o propósito estabelecido para esta pesquisa, o indicador BSD não foi considerado, uma vez que o objetivo do estudo é examinar a transparência somente de uma categoria, “Finanças e Economia”. O indicador utilizado neste estudo para avaliar a qualidade da transparência dos conjuntos de dados relacionados à categoria “Finanças e Economia” foi o indicador de transparência (T), o qual é composto por outros dois indicadores, Transparência do Governo (GT) e Dados de Transparência (DT), sendo (T) a média entre (GT) e (DT).
Segundo Veljković et al. (2014), dois tipos de transparência, a de dados e a governamental, possuem igual relevância na construção de um governo transparente. O indicador T apresenta valores no intervalo (0, 1), em que 0 (zero) representa a ausência de transparência e 1 (um) está associado a elevados níveis de transparência:
T = (GT +DT) /2 (2).
Nesta pesquisa, um elemento adicional foi incorporado à fórmula mencionada anteriormente. Com o intuito de estabelecer conexões com os objetivos propostos pelo estudo, foi incluído o índice de qualidade da informação contábil-fiscal dos governos estaduais (QCIF) referente ao ano de 2021, o resultado mais recente apurado. A equação ajustada para este estudo consiste em:
T = (GT +DT +QCIF) /3 (3).
Sobre os itens avaliados, para o indicador (GT), conforme recomendado pelos autores, foi utilizado o Corruptions Perception Indicator. Este índice classifica 180 países e territórios em todo o mundo por seus níveis percebidos de corrupção no setor público, pontuando em uma escala de 0 (altamente corrupto) a 100 (muito limpo). O último resultado do índice apurado foi em 2022, 0,38. Atualmente o Brasil ocupa a posição 94 no ranking (Transparency International, 2022).
O indicador de Transparência dos Dados (DT) é calculado por meio da média dos valores de autenticidade (A), compreensibilidade (U) e reutilização dos dados (DR). Este indicador apresenta valores no intervalo de 0 a 1, em que o valor 0 (0%) simboliza a total ausência de transparência de dados, enquanto o valor 1 (100%) denota o nível máximo de transparência. Para conduzir a avaliação da transparência dos dados, foram selecionados todos os conjuntos publicados referentes à categoria “Finanças e Economia”.
Visando atender os princípios do DAG, no critério autenticidade (A), os autores do modelo concluem que o governo deve divulgar informações acerca das fontes de dados nos portais, disponibilizando-as livremente e assegurando acessibilidade a todos os usuários. Ademais, o usuário deve conseguir atribuir uma classificação a cada fonte de dados, fundamentando-se em sua experiência no uso dos dados e possibilitando a oferta de uma classificação aos demais usuários. A classificação do usuário reflete o feedback oferecido pelos usuários acerca dos dados publicados. Para fins de cálculo, é importante considerar a quantidade de usuários que contribuíram com seus comentários.
Prosseguindo com a análise dos indicadores que compõem a equação de transparência de dados, o indicador de compreensibilidade (U) é meticulosamente aplicado a cada categoria de dados. Essa abordagem utiliza um conjunto específico de informações para verificar a presença de descrições adequadas para cada conjunto de dados dentro de cada categoria. O componente (U) foca na existência de uma descrição textual clara para os conjuntos de dados, na presença de etiquetas pesquisáveis associadas a esses conjuntos e na inclusão de links adicionais que objetivam melhorar a experiência de navegação do usuário. Esta análise detalhada é fundamental para assegurar que os dados sejam não apenas acessíveis, mas também compreensíveis para os usuários.
A Reutilização dos Dados (DR) representa o aspecto final a ser examinado na definição do grau de transparência dos Dados Abertos Governamentais no portal em questão. Esse elemento está relacionado à disponibilização de informações em formatos abertos, facilitando para os usuários a realização de pesquisas, indexações e downloads dos dados utilizando ferramentas padrão, sem a necessidade de conhecimento especializado sobre as estruturas de dados. Para medir a reutilização de dados, os autores adotaram uma escala específica que avalia o formato dos conjuntos de dados de cada categoria. O valor do indicador DR reflete a média de reutilização desses conjuntos de dados, com uma escala variando de 0 a 3. Aqui, o valor 0 indica o nível mais baixo de disponibilidade de dados, enquanto o valor 3 representa o mais alto grau de disponibilidade, evidenciando a facilidade de acesso e uso dos dados governamentais abertos.
Por fim, o último item acrescentado à fórmula geral, que se trata de uma alteração no modelo, foi o componente Indicador da Qualidade Contábil e Fiscal (IQCF). A inclusão deste componente deve-se, principalmente, à ligação direta dos conjuntos de dados avaliados e à relação entre o grau de transparência e a qualidade das informações orçamentárias, contábeis e financeiras dos estados. Portanto, compreende-se que este contribui para a transparência governamental.
Conforme o Tesouro Nacional (2021), o ranking foi criado para avaliar a consistência das informações contábeis e fiscais recebidas por meio do Sistema de Informações Contábeis e Fiscais do Setor Público Brasileiro – SICONFI – e, posteriormente, disponibilizadas para o público. O Ranking Estadual realiza a comparação do desempenho entre os estados e o Distrito Federal nas verificações realizadas. O Indicador da Qualidade Contábil e Fiscal (IQCF) no SICONFI atribui uma pontuação aos estados de 0 a 100.
A análise se restringiu aos dados abertos relacionados à categoria finanças e economia, disponibilizados pelos governos estaduais nos sítios eletrônicos oficiais. Nesta categoria, foram identificadas informações sobre despesas, receitas, passivos, ativos, licitações, contratos, relatórios contábeis e de orçamento. Os conjuntos de dados foram acessados entre março e abril de 2023, nos portais de Dados Abertos Governamentais (DAG) estaduais. Apesar da escolha de apenas uma categoria, constatou-se uma diversidade considerável no tipo e na abrangência temporal das informações que cada unidade federativa disponibilizou. Sendo os resultados encontrados expostos nas figuras a seguir.
Figura 1 - Mapa Geográfico de Calor
Fonte: Dados da pesquisa (2024).
A análise dos dados sobre o grau de transparência das informações econômico-financeiras dos portais de dados abertos dos estados brasileiros revela uma realidade multifacetada, com disparidades significativas entre os estados e regiões. Os estados de São Paulo, Santa Catarina e Goiás se destacam no ranking, apresentando os maiores graus de transparência. Por outro lado, observa-se que estados como Alagoas, Mato Grosso e Acre estão na parte inferior do ranking, evidenciando uma necessidade urgente de melhoria nas práticas de transparência. Essas disparidades apontam para a existência de desafios específicos em determinadas regiões, que podem estar relacionados a fatores como infraestrutura tecnológica, prioridades políticas ou recursos disponíveis para a implementação de políticas de transparência.
Figura 2 - Ranking do Grau de Transparência dos Dados Abertos nos Portais Governamentais
Fonte: Dados da pesquisa (2024).
Neste ranking, incorporou-se à métrica convencional de transparência de dados do modelo OpenGov o Indicador da Qualidade da Informação Contábil e Fiscal (IQCF), cuja formulação e apuração são atribuições do Tesouro Nacional. Essa integração foi deliberada, considerando a relação entre o nível de transparência e a qualidade dos conjuntos de dados examinados, notadamente no que tange às informações contábeis, orçamentárias e financeiras dos Estados. O acréscimo do IQCF visa aferir com maior amplitude o grau de transparência, incorporando características relacionadas à qualidade da informação analisada.
Este estudo postula que os critérios utilizados para avaliar os conjuntos de dados e aqueles empregados para medir a qualidade das informações, o IQCF, não são excludentes, mas sim aspectos que se complementam. A avaliação conduzida através do indicador IQCF serve para enriquecer a análise baseada nos critérios estabelecidos pelo modelo OpenGov. A adesão aos princípios de dados abertos é essencial para a adequada disseminação dos conjuntos de dados fornecidos pelos estados, em particular aqueles relacionados a informações contábeis, orçamentárias e financeiras. Contudo, é essencial reconhecer que a importância de cumprir com estes princípios se estende além dessas categorias, abrangendo todos os tipos de conjuntos de dados. Especificamente para dados contábeis, orçamentários e financeiros, é preciso considerar também aspectos técnicos e legais que garantam a integridade e a precisão das informações divulgadas.
Dessa forma, é possível garantir uma compreensão abrangente da transparência, assegurando que os dados não apenas estejam disponíveis e sejam reutilizáveis, mas também que sejam tecnicamente sólidos e confiáveis. A análise dos dados econômico-financeiros requer, portanto, um escrutínio meticuloso dos critérios que englobam a correta classificação, a tempestividade das informações e a conformidade com os padrões contábeis aplicáveis. Isso ressalta a necessidade de uma abordagem multidimensional para a avaliação da transparência, que considere tanto a abertura dos dados quanto a qualidade técnica da informação provida.
Com base no ranking desenvolvido, observa-se que, consoante os critérios do modelo OpenGovB, a pontuação obtida pelos estados reflete um grau de transparência que não atinge o nível considerado satisfatório, oscilando entre 30% e 60%. A análise comparativa entre os estados brasileiros permitiu a elaboração de um panorama da situação dos conjuntos de dados econômico-financeiros dos portais de dados abertos estaduais. Esta análise revelou não só o nível variado de transparência em diferentes regiões, mas também destacou áreas críticas para aprimoramento. Uma questão premente é a padronização dos dados, essencial para a comparabilidade e eficácia no uso dessas informações. A falta de um formato comum para apresentação dos dados nos portais dificulta a análise e a utilização efetiva dos dados, sugerindo a necessidade de diretrizes nacionais para uniformizar a apresentação e o tratamento dessas informações.
O desafio da padronização dos portais de dados abertos governamentais tem sido uma preocupação persistente, evidenciado pelo Projeto de Lei nº 7.804, proposto em 2014 (Câmara dos Deputados, 2014). Essa iniciativa surgiu como resposta à falta de padrões uniformes e ao uso de formatos incompatíveis para a ampla utilização de dados por terceiros. Esta lacuna tem dificultado, por exemplo, a comparação de dados entre diferentes entidades. Contudo, até o momento, esse projeto não progrediu, deixando ainda pendente a questão da padronização no contexto nacional. Outro aspecto crítico é a baixa adesão dos portais estaduais aos dados abertos, uma questão que deve ser analisada à luz dos princípios internacionalmente reconhecidos sobre o que são os dados abertos. É essencial fomentar discussões e estratégias que promovam uma maior adoção dos dados abertos, visando à ampliação do conhecimento e sua efetiva utilização.
A pesquisa conduzida por Veljković et al. (2014) apresenta uma abordagem de avaliação detalhada e eficiente voltada para dados abertos governamentais. Neste estudo, foi adotada uma implementação parcial do modelo OpenGov, com foco especial na análise de três critérios vitais: autenticidade, compreensibilidade e reutilização dos dados. A seleção desses critérios é fundamentada na sua importância crítica, conforme demonstrado tanto em pesquisas anteriores proeminentes quanto nos princípios globalmente estabelecidos no âmbito de dados abertos governamentais.
Algumas pesquisas internacionais exploram o campo de dados abertos governamentais, transparência e participação cidadã sob várias perspectivas. Ortiz-de-Urbina-Criado et al. (2023) avaliam a reputação de portais de dados abertos, enquanto Lourenço (2013) foca em transparência e responsabilização. Petychakis et al. (2014) analisam portais de dados abertos na União Europeia e Rorissa et al. (2011) junto com Veljković et al. (2014) desenvolvem modelos de benchmarking para e-Government e Governo Aberto. As metodologias variam, incluindo avaliações por pares, análises comparativas e quantitativas. O impacto desses estudos também difere, abrangendo desde teorias conceituais até análises práticas e geograficamente específicas, contribuindo assim de forma diversa para o entendimento e avanço no campo de dados abertos governamentais e e-Government.
No contexto brasileiro, o estudo de Klein; Luciano e Macadar, (2015) foca na avaliação do nível de transparência do Portal de Dados Abertos Governamentais do governo estadual do Rio Grande do Sul, Brasil, utilizando o modelo de Veljković et al. (2014). Este trabalho contextualiza a evolução do governo eletrônico no Brasil, enfatizando a mudança para a reforma administrativa e o incentivo à participação democrática, e destaca a participação do Brasil na Parceria para Governo Aberto (OGP) desde 2011. A pesquisa também explora a relação entre transparência e dados abertos, discutindo conceitos e terminologias relevantes, e sublinha a importância da transparência para o monitoramento das atividades governamentais pelos cidadãos e para a geração de valor econômico e social.
Quanto aos critérios avaliados, uma das questões fundamentais no gerenciamento dos dados governamentais é a autenticidade, um aspecto crítico que garante a confiabilidade e a validade das informações disponibilizadas. A evolução tecnológica impactou profundamente as práticas de gestão documental, alterando como a autenticidade é percebida e mantida (Bellotto, 2014). Atualmente, presume-se a autenticidade como essencial ao monitoramento contínuo de todo o processo de documentação, desde a origem do documento, para assegurar sua representação fiel tanto na organização quanto na descrição dele (Rabelo, 2023).
Enquanto a tecnologia facilita a criação, armazenamento e acesso aos documentos, também impõe a necessidade de novos métodos de monitoramento e verificação. Para Duranti (1994), a autenticidade dos documentos está intrinsecamente ligada à sua conservação, guarda e perpetuação, assegurada pelas ações do seu criador. No contexto dos dados governamentais abertos, esta evolução assume uma relevância ainda maior. A transparência e a responsabilidade são pilares fundamentais na governança moderna, e a integridade dos documentos digitais torna-se um aspecto crucial para sustentar esses princípios. A autenticidade dos documentos é assegurada através de sua correta conservação e gerenciamento, o que, no contexto digital, implica em manter procedimentos de segurança robustos, auditorias frequentes e protocolos de verificação para prevenir alterações não autorizadas ou corrupção de dados (Duranti, 1994).
Figura 3 - Fatores avaliados quanto à autenticidade dos Dados Abertos Governamentais
Fonte: Adaptado de Veljković et al. (2014).
O estudo de Veljković et al. (2014) revela a importância da autenticidade dos dados no contexto do governo aberto, atribuindo-lhe um valor específico no modelo OpenGovB. Para avaliar o quesito autenticidade, o modelo propõe a verificação das fontes de dados e a precisão e integridade dos dados. Os autores determinam ser essencial para o governo publicar informações claras sobre as fontes dos dados nos portais, tornando-as livremente disponíveis e garantindo que sejam acessíveis a todos os usuários. Além disso, é importante que os usuários possam avaliar cada fonte de dados com base em sua própria experiência de uso, contribuindo assim para uma classificação compartilhada que pode orientar outros usuários.
No que tange à compreensibilidade, o estudo realizado por Veljković et al. (2014) propõe uma metodologia para avaliar a clareza dos dados, com ênfase particular nas descrições textuais de conjuntos de dados abertos. A abordagem dos autores mencionados destaca a necessidade de descrições precisas e detalhadas para cada conjunto de dados, alinhando-se diretamente com a demanda por compreensibilidade. Descrições textuais bem elaboradas são cruciais para que os usuários compreendam o contexto e o propósito dos dados, promovendo assim uma utilização e interpretação mais eficientes, elementos essenciais para a comunicação eficaz de dados no contexto de um governo transparente e aberto.
A existência de etiquetas, tags e marcas associadas aos conjuntos de dados é outro fator crucial para a compreensibilidade. Esses marcadores funcionam como pontos de referência que ajudam os usuários a categorizar e localizar rapidamente as informações relevantes. No contexto do governo aberto, a presença de etiquetas sinalizadoras e relevantes pode significativamente melhorar a usabilidade e a acessibilidade dos dados, tornando-os mais fáceis de serem compreendidos e utilizados pelos cidadãos, pesquisadores e outros stakeholders. A inclusão de links que adicionam relação ao conjunto de dados apresentado, é igualmente importante para a compreensibilidade. Esses links fornecem caminhos adicionais para informações relacionadas, enriquecendo o entendimento dos usuários e permitindo uma exploração mais profunda do contexto e das conexões entre diferentes conjuntos de dados. Em um ambiente de dados abertos, esses links são essenciais para criar uma rede de informações interconectadas, aumentando a clareza e a profundidade com que os dados são compreendidos e utilizados (Veljković et al., 2014).
Por fim, no que se refere à reutilização dos dados, este importante aspecto envolve a disponibilização de informações em formatos amplamente acessíveis. Isso permite que os usuários realizem pesquisas, indexações e downloads de dados de forma eficiente e intuitiva, sem a necessidade de possuírem conhecimentos avançados sobre a estrutura dos dados. Essa abordagem do modelo OpenGovB promove uma utilização mais abrangente dos dados, reforçando o comprometimento com a transparência e acessibilidade no contexto dos dados governamentais abertos.
5 CONCLUSÃO
Este estudo evidenciou variações significativas nos critérios de compreensibilidade, autenticidade e reusabilidade dos dados avaliados por intermédio do modelo OpenGovB, nos portais governamentais estaduais. Observou-se que, de uma forma geral, esses portais apresentaram pontuações baixas, refletindo um padrão de evolução insuficiente rumo à transparência reconhecida internacionalmente. Notavelmente, a autenticidade dos dados emergiu como um desafio significativo para essas entidades, evidenciando a necessidade de estratégias aprimoradas para garantir a confiabilidade dos dados disponibilizados.
A análise comparativa entre os estados brasileiros permitiu a elaboração de um panorama da situação dos conjuntos de dados econômico-financeiros dos portais de dados abertos estaduais. Esta análise revelou não só o nível variado de transparência em diferentes regiões, mas também destacou áreas críticas para aprimoramento. Uma questão premente é a padronização dos dados, essencial para a comparabilidade e eficácia no uso dessas informações. A falta de um formato comum para apresentação dos dados nos portais dificulta a análise e a utilização efetiva dos dados, sugerindo a necessidade de diretrizes nacionais para uniformizar a apresentação e o tratamento dessas informações.
Esta pesquisa revelou variações notáveis nos critérios de compreensibilidade, autenticidade e reutilização dos dados, conforme analisados através do modelo OpenGov em portais governamentais estaduais. Foi constatado que, em termos gerais, estes portais apresentaram pontuações inferiores, indicando uma progressão insatisfatória em direção aos padrões de transparência internacionalmente estabelecidos. De forma particularmente destacada, a questão da autenticidade dos dados surgiu como um desafio preponderante para essas entidades, sublinhando a necessidade urgente de desenvolver estratégias mais eficazes para assegurar a confiabilidade dos dados publicados. Este cenário aponta para a importância de medidas intensificadas e focadas na melhoria da qualidade e na veracidade das informações disponibilizadas nos portais governamentais.
Para pesquisas futuras, sugere-se a ampliação do escopo para incluir outras categorias de dados abertos e aplicar o modelo em diversos contextos governamentais, como municípios, e investigar a relação entre a transparência dos dados abertos e indicadores socioeconômicos. Além disso, seria interessante explorar a percepção dos usuários e stakeholders sobre a qualidade e a utilidade das informações disponibilizadas nos portais, bem como a realização de uma investigação quantitativa que explore modelos estatísticos avançados. Essa abordagem permitiria investigar novos fatores que podem influenciar a transparência dos dados abertos ou consolidar a importância dos fatores já identificados. A integração de análises estatísticas pode oferecer insights mais profundos sobre as relações entre as variáveis envolvidas e ajudar a desenvolver estratégias mais eficazes para melhorar a transparência e a acessibilidade das informações governamentais.
REFERÊNCIAS
BATISTA, A. H.; SILVA, N. B.; MIRANDA, C. M. C. Infraestrutura nacional de dados abertos. In: CONGRESSO CONSAD DE GESTÃO PÚBLICA. 6., 2013, [s.l.], Anais eletrônicos [...] Revista de Direito Administrativo e Gestão Pública, 2013. Disponível em: http://consad.org.br/wp-content/uploads/2013/05/093-INFRAESTRUTURA-NACIONAL-
BELLOTTO, H. L. Arquivo: estudos e reflexões. Belo Horizonte: UFMG, 2014.
BERMAN, F. The Research Data Alliance -The First Five Years, Suplemento para: Berman, F., & Crosas, M. (2020). The research data alliance: benefícios e desafios da construção de uma organização comunitária. Revisão de Ciência de Dados de Harvard, [s.l.], v. 2, n. 1, p. 2-11, 2019. doi: 10.1162/99608f92.5e126552
BERNERS-LEE, T. World Wide Web Consortium (W3C). Linked Data, Design Issues, 2009. Disponível em: https://www.w3.org/DesignIssues/LinkedData.html. Acesso em: 10 set. 2023.
BRASIL. Decreto nº 8.777, de 11 de maio de 2016. Institui a Política de Dados Abertos do Poder Executivo federal. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 12 maio 2016. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/decreto/d8777.htm. Acesso em: 6 fev. 2024.
BRASIL. Lei Complementar nº 101, de 4 de maio de 2000. Estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. Brasília, DF, 5 maio 2000. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm. Acesso em: 6 fev. 2024.
BRASIL. Lei nº 10.650, de 16 de abril de 2003. Dispõe sobre o acesso público aos dados e informações existentes nos órgãos e entidades integrantes do Sistema Nacional de Meio Ambiente – SISNAMA. Brasília, DF, 17 abr. 2003. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/2003/l10.650.htm. Acesso em: 6 fev. 2024.
BRASIL. Lei nº 14.129, de 29 de março de 2021. Estabelece princípios, regras e instrumentos para o Governo Digital e para o aumento da eficiência pública, através do uso de meios digitais na prestação de serviços públicos, na interação com o cidadão e na transparência de informações. Brasília, DF, 30 mar. 2021. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2019-2022/2021/lei/l14129.htm. Acesso em: 6 fev. 2024.
CÂMARA DOS DEPUTADOS. Agência Câmara de Notícias. Comissão de Finanças aprova projeto que cria Lei de Dados Abertos. Brasília, 2022. Disponível em: https://www.camara.leg.br/noticias/924163-comissao-de-financas-aprova-projeto-que-cria-lei-de-dados-abertos/. Acesso em: 10 set. 2023.
CÂMARA DOS DEPUTADOS. Agência Câmara de Notícias. Proposta cria Lei de Dados Abertos para reforçar transparência do poder público. Brasília, 2014. Disponível em: https://www.camara.leg.br/noticias/448970-proposta-cria-lei-de-dados -abertos-para-reforcar-transparencia-do-poder-publico. Acesso em: 10 set. 2023.
COMISSÃO EUROPEIA. Guidelines on open access to scientific publications and research data in Horizon 2020. [s.l.], 2017. Disponível em: https://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/hi/oa_pilot/h 2020-hi-oa-pilot-guide_en.pdf. Acesso em: 4 dez. 2023.
CONTROLADORIA-GERAL DA UNIÃO. CGU. Manual de elaboração de planos de dados abertos. Brasília, 2018. Disponível em: https://repositorio.cgu.gov.br/handle/1/46702. Acesso em: 4 dez. 2023.
CUNHA FILHO, M. C. Construção da transparência pública no Brasil: análise da elaboração e implementação da Lei de Acesso à Informação no Executivo Federal (2003-2019). 2019. 240f. Tese (Doutorado em Direito) - Universidade de Brasília, Brasília, DF, 2019. Disponível em: https://repositorio.unb.br/handle/1/34839. Acesso em: 10 dez. 2023.
DOMINGUEZ, M. E-transparência e dados abertos governamentais: o ambiente digital como lócus dos avanços do governo brasileiro nas políticas, leis e parcerias internacionais. Etransparency and Open Government Data. In: CONGRESSO BRASILEIRO DE COMUNICAÇÃO E POLÍTICA, Porto Alegre, [Anais...], 7., Porto Alegre. 2017.
DURANTI, L. Registros documentais contemporâneos como prova de ação. Estudos Históricos, Rio de Janeiro, v. 13, s.n., p. 50-64, 1994. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/reh/article/view/1976/2164. Acesso em: 10 dez. 2023.
FERRER-SAPENA, A.; PESET, F.; ALEIXANDRE-BENAVENT, R. Acesso a dados públicos e sua reutilização: open data e open government. Profesional de la Información, [s.l.], v. 20, n. 3, p. 260-269, 2011. Disponível em: https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/epi.2011.may.03. Acesso em: 10 dez. 2023.
HENNING, P. C. et al. GO FAIR e os princípios FAIR: o que representam para a expansão dos dados de pesquisa no âmbito da Ciência Aberta. Em Questão, Porto Alegre, v. 25, n.2, p. 389-412, 2019. Disponível em: https://seer.ufrgs.br/index.php/EmQuestao/article/view/84753. Acesso em: 18 dez. 2024.
GIGLIA, E.; SWAN, A. Open access to data for a new, open science. European Journal of Physical and Rehabilitation Medicine, [s.l.], v. 48, n. 4, p. 713-716, 2012.
KLEIN, R. H.; LUCIANO, E. M.; MACADAR, M. A. Grau de transparência de dados abertos governamentais do site dados.rs.gov.br. Revista Economia & Gestão, [s.l.], v. 15, n. 41, p. 256-, dez. 2015. Disponível em: http://periodicos.pucminas.br/index.php/economiaegestao/article/view/9965. Acesso em: 10 set. 2023.
LIN, D. et al. Os princípios TRUST para repositórios digitais. Dados Científicos, [s.l.], v. 7, n. 1, p. 144, 2020.
LOURENÇO, R. P. Open government portals assessment: a transparency for accountability perspective. In: ELECTRONIC GOVERNMENT: IFIP WG 8.5 INTERNATIONAL CONFERENCE, EGOV, 12., September 16-19, 2013, Koblenz, Germany. Proceedings [...] Koblenz, Germany: Berlin Heidelberg, 2013. p. 62-74.
OPEN KNOWLEDGE INTERNATIONAL. Open data handbook. O que são dados abertos? 2017. Disponível em: https://opendatahandbook.org/guide/pt_BR/what-is-open-data/#:~:text=Dados%20abertos%20s%C3%A3o%20dados%20que,e%20compartilhamento%20pelas%20mesmas%20regras. Acesso em: 24 nov. 2023.
ORTIZ-DE-URBINA-CRIADO, M.; ABELLA, A.; DE-PABLOS-HEREDERO, C. Proposal for an index measuring the reputation of open data portals: The Odapri. Profesional de la Información, [s.l.], v. 32, n. 3, p. 1-13, 2023.
PETYCHAKIS, M. et al. A state-of-the-art analysis of the current public data landscape from a functional, semantic, and technical perspective. Journal of Theoretical and Applied Electronic Commerce Research, [s.l.], v. 9, n. 2, p. 34-47, 2014.
POSSAMAI, A. J.; DE SOUZA, V. G. Transparência e dados abertos governamentais: possibilidades e desafios a partir da Lei de Acesso à Informação. APGS Administração Pública e Gestão Social, [s.l.], v. 12, n. 2, p. 2-20, 2020.
RABELO, N. B. Uso de blockchain nos arquivos: da autenticidade à autenticação de documentos. 2023. 145 f. Dissertação (Mestrado em Ciência da Informação) – Programa de Pós-Graduação em Ciência da Informação, Instituto de Arte e Comunicação Social, Universidade Federal Fluminense, Niterói, RJ, 2023.
RESEARCH DATA ALLIANCE. Sobre a RDA. [s.l.]: 2016. Disponível em: https://www.rd-alliance.org/about-rda. Acesso em: 23 nov. 2023.
RORISSA, A.; DEMISSIE, D.; PARDO, T. Benchmarking e-government: a comparison of frameworks for computing e-government index and ranking. Government Information Quarterly, [s.l.], v. 28, n. 3, p. 354-362, 2011.
SILVA C. J. S.; HAHN, T. M. Administração pública orientada por dados: governo aberto e infraestrutura nacional de dados abertos. Revista de Direito Administrativo e Gestão Pública, [s.l.], v. 6, n. 1, p. 1-24, jul. 2020.
SILVA, L. H. A. et al. Os princípios TRUST como ferramenta de avaliação de repositórios de dados. Brazilian Journal of Information Science, [s.l.], v. 15, n. 15, p. 7, 2021.
TRANSPARENCY INTERNATIONAL. Corruptions perception indicator. 2022. Disponível em: https://www.transparency.org/en/cpi/2022. Acesso em: 10 set. 2023.