Acessibilidade às informações públicas: uma avaliação do portal de serviços e informações do governo federal
João Batista Simão
Mestre em Ciência da Informação pela Universidade de Brasília (UnB).
E-mail: jb.simao@terra.com.br
Georgete Rodrigues
Doutora em História pela Université de Paris IV (Paris-Sorbonne), França. Professora do Departamento de Ciência da Informação e Documentação da Universidade de Brasília.
E-mail: georgete@unb.br
Resumo
A premissa central deste artigo parte de uma pesquisa de mestrado é que, sendo a Internet um poderoso instrumento tecnológico para a disseminação e o acesso às informações, os governos a têm utilizado como uma forma de aproximação dos cidadãos. Buscando avaliar seu alcance efetivo, avalia-se o Portal de serviços e informações do governo brasileiro com base na metodologia de Vilella (2003), que envolve 73 critérios, agrupados em 14 parâmetros distribuídos em três dimensões: conteúdo, usabilidade e funcionalidade do portal. Como ferramenta de análise foram utilizados três tipos de software, durante período de tempo predeterminado, atribuindo-se notas a cada dimensão para avaliar seu grau de aprovação. Os resultados apontaram os pontos fortes e fracos do Portal; as notas baixas atribuídas à forma de apresentação do conteúdo, atualização e manutenção do conteúdo; equilíbrio nas notas referentes à usabilidade, ressaltando-se, porém, nesse caso, as dificuldades no acesso para pessoas portadoras de necessidades especiais.
Palavras-chave
Portais; Governo eletrônico; Avaliação de portais; Portais de informações e serviços públicos.
Accessibility to public information: an evaluation of an services and information portal of Brazilian Federal Government
Abstract
The central premise of this article part of a Master thesis is that the Internet is a strong technology tool for the access to and the dissemination of information. That is why government bodies have been using it as a form of approaching citizens. Based on this premise, and in an attempt to evaluate its effective reach, the Services and Information Portal of the Brazilian Federal Government is assessed on the basis of Vilellas´s methodology (2003). This methodology comprises 73 criteria, which are grouped under 14 parameters. These parameters, in its turn, are divided into three dimensions, namely, content, usability and functionality. During a pre-established period of time, three different types of software were used as assessing tools, and marks were attributed to each dimension in order to evaluate its degree of approval. Research results pointed to both strengths and weaknesses of the Portal. Firstly, the low marks given to the form of the content presentation, updating and maintenance. Secondly, a balance in usability marks, underlining, however, the difficulty for citizens with special needs to access the Portal.
Keywords
Portals, E-Government; Evaluation of portals; Information and public services portals.
INTRODUÇÃO
Em 1994, o governo federal criou o Programa de Normalização Técnica para Informática Pública (Nortec*). Vinculado ao Sistema de Administração dos Recursos de Informação e Informática (Sisp), seu objetivo era estudar e propor normas, procedimentos, padrões, especificações e orientações técnico-administrativas para promover a utilização racional dos recursos de informática e a integração dos sistemas de tratamento da informação no âmbito da administração pública federal direta, autárquica e fundacional. O projeto Portal Rede Governo surgiu no ano seguinte como uma solução abrangente para viabilizar uma estrutura cooperativa de trabalho, cujas características técnicas e operacionais permitissem e assegurassem intercomunicação e interoperação aos ambientes já instalados ou que viessem a ser instalados criando-se, assim, uma infra-estrutura integrada de comunicação e de serviços (ARAÚJO, 2001). Em janeiro de 2000, o portal entrou em operação, sob a responsabilidade da Câmara Técnica da Rede Governo. Esta última funcionou até a criação do e-gov em outubro de 2000, quando teve suas atribuições administrativas e operacionais transferidas para a secretaria-executiva** do Comitê Executivo do Governo Eletrônico (Cege).
Dentre outros aspectos, nossa pesquisa demonstrou que a criação do Portal Rede Governo não foi uma ação isolada. Ela constituiu-se em etapa importante do Projeto de Reforma do Estado, iniciado ainda nos meados da década de 1990, no âmbito do Ministério do Planejamento, Orçamento e Gestão (MPOG) e uma espécie de coroamento de uma série de medidas governamentais. Nesse sentido, desde o início dos anos 90 do século XX, as ações do governo brasileiro acompanharam o movimento internacional quanto ao reconhecimento da Internet como uma mídia mais interativa e potencialmente democrática disponível na atualidade. A exemplo da tendência internacional, o governo federal percebeu, também, a necessidade de implementar sua presença na Rede de maneira sólida e eficiente, e os portais têm-se apresentado como uma solução. Mas, afinal, quais são os atributos de um portal que o tornam objeto de desejo de governos e organizações?
* Portaria SAF n.º 3.094, de 10.10.94.
** Secretaria de Logística e Tecnologia da Informação do Ministério do Planejamento, Orçamento e Gestão.
Portais: definições e classificações
Na revisão bibliográfica sobre portais, ressaltam duas características comuns e principais: a integração e o compartilhamento. Um portal pode ser um meio de acesso integrado que oferece aos visitantes um ponto único de contato para fornecimento de informações e de serviços on-line (GANT & GANT, 2001); podem ser públicos e corporativos; verticais e horizontais, no caso dos portais públicos; os corporativos tanto podem dar ênfase em suporte à decisão ou ao processamento cooperativo (DIAS, 2002). Para Terra & Gordon (2002), os componentes-chave da arquitetura de um portal corporativo são os seguintes: camada de apresentação e personalização, taxionomia e mecanismos de busca, aplicações Web e conectores. A figura 1 mostra graficamente a estrutura de portal proposta por Terra & Gordon (2002).
Para Vilella (2003), o portal deve ser planejado como verdadeiro sistema de informação e deve ser resultado da integração desses sistemas. Tratando-se de um portal de governo, Silveira (2002) argumenta que este deve ser cooperativo. Nesse sentido, as transações gerenciadas envolvendo mais de um órgão devem ser realizadas pelo portal de maneira transparente, sem apresentar dificuldades adicionais ao cidadão usuário, uma das formas de utilização da Internet defendidas como oportunidade de transformar a relação entre os governos e os cidadãos. Nessa perspectiva, se o objetivo é proporcionar mudança na relação governo-cidadão, o planejamento e a implantação dos portais devem considerar o interesse e as necessidades do cidadão. Nos projetos de alguns países que detêm as melhores práticas de e-gov, estão presentes aplicações que implementam conceitos relevantes em um portal e-gov, como o ponto único de parada (one-stop government).
Para atender a esse conceito, o portal deve concentrar grande quantidade de serviços e informações, de forma que não seja necessário o deslocamento do cidadão a outro endereço para utilizar determinado serviço público. O conceito de fatos da vida do cidadão (life-events) está diretamente relacionado com a integração dos serviços oferecidos pelo portal. Na implementação desse recurso, os sistemas de informação dos órgãos públicos e seus processos deverão estar organizados de modo a oferecer determinado serviço público, independentemente da estrutura física tradicional. Os governos cujos sistemas de informação não são integrados devem, assim, reorganizar seus sistemas visando a obter interoperabili-dade entre eles, procedimento denominado por Santos (2002) Protogoverno eletrônico. De toda maneira, um portal de governo deve apresentar as qualidades de um portal corporativo, e autores como Santos (2002) e Terra & Gordon (2002) afirmam que o empreendimento só pode alcançar êxito, se houver mudança na própria cultura organizacional e na forma pela qual os conhecimentos serão geridos a partir de sua implantação.
FIGURA 1
Componentes-chave da arquitetura de um portal corporativo
Fonte: Terra & Gordon, 2002, p. 96.
AVALIAÇÃO DE PORTAIS DE GOVERNO ELETRÔNICO: SYNTESE DA METODOLOGIA DE VILELLA
Vilella (2003) destaca o crescimento dos estudos cujos temas são a avaliação de sítios, mas também observa que os aspectos relacionados à usabilidade, à funcionalidade e estruturação da informação ainda estão longe de ter o espaço que merecem nos currículos dos cursos de graduação nas áreas de tecnologia. Buscando suprir essa lacuna, a autora partindo dos parâmetros utilizados em três estudos básicos e de metodologias de outros autores fez uma uniformização da linguagem de todos os trabalhos, adequando-os às subcaracterísticas da usabilidade e funcionalidade constantes na NBR 13.596/96.
Para chegar aos parâmetros e critérios aplicados em sua metodologia, Vilella (2003) adotou o seguinte procedimento: primeiro, fez uma uniformização da linguagem utilizada por todos os autores escolhidos em sua revisão de literatura, para possibilitar a geração da lista inicial de parâmetros. Em seguida, definiu os critérios, elaborou os quadros-resumo referentes a cada dimensão e fez uma adequação dos critérios das dimensões usabilidade e funcionalidade à NBR 13596/96. Finalmente, elaborou, para cada dimensão, um quadro contendo os parâmetros com os critérios e seus respectivos pesos. O trabalho de Vilella apontou para a necessidade de uma avaliação contemplar as dimensões básicas do portal, analisando desde os aspectos voltados para a facilidade de uso (usabilidade*), até o cumprimento dos requisitos propostos (funcionalidade**), além de aspectos voltados para a qualidade e a confiabilidade das informações (conteúdo***). Assim, a nossa pesquisa baseou-se nesses parâmetros para avaliar o portal Rede Governo, mas garantindo certas especificidades próprias ao nosso objeto.
Procedimentos metodológicos e instrumentos de avaliação do Portal Rede Governo
Considerando os aspectos essenciais para a avaliação de portais, conforme indicado anteriormente, o Portal Rede Governo foi examinado quanto às dimensõesconteúdo, usabilidade e funcionalidade. Nesse sentido, em função das suas características, os procedimentos metodológicos e os instrumentos de avaliação consistiram no seguinte: a) elegeu-se como recorte da pesquisa a página principal do portal e mais dois níveis subseqüentes. O recorte deveu-se à constatação da inviabilidade da análise até o último nível (mais de 33 millinks, em fevereiro de 2004) e por considerarmos que uma avaliação até esse nível levaria em conta, na verdade, não só o portal Rede Governo, mas também as páginas dos diversos órgãos da administração pública; b) o recorte temporal centrou-se na versão do portal que esteve no ar no período de 1° de março a 4 de abril de 2004; c) para a avaliação da dimensão funcionalidade, foi necessário selecionar alguns serviços devido à inviabilidade de avaliar todos, pois o número de serviços em 16 de abril de 2004, por exemplo, chegava a 2.647. Estes, por sua vez, foram avaliados desde a página inicial até o aplicativo que realiza o serviço (o quadro 1 descreve os serviços avaliados); d) as notas atribuídas (de zero a quatro) refletem a qualidade do critério (e, em conseqüência, formam as notas dos parâmetros e das dimensões) e, no presente trabalho, os critérios receberam valores de zero a quatro, com os seguintes significados: zero = ruim ou incompleto; 1= regular; 2 = bom; 3= muito bom; 4=completo. Deve-se destacar que, em alguns casos, não foi possível pontuar os critérios de forma objetiva, uma vez que estes se referem à simples constatação de sua presença ou não no portal. Nesses casos, utilizamos a pontuação zero para o Não, ou a pontuação4 para o Sim; e) a escolha dos serviços avaliados considerou que a sua execução seria um pré-requisito, ou seja, que pudessem ser executados até a última etapa.
* A usabilidade é a capacidade de um produto ser usado por usuários específicos para atingir objetivos específicos com eficácia, eficiência e satisfação, em um contexto específico de uso (ISO 9241-11, 1998); (DIAS, 2003, p. 24).
** Funcionalidade é a capacidade de o software prover funções que atendam a necessidades expressas e implícitas, quando usado nas condições especificadas. ISO/IEC FCD 9126-1 (DIAS, 2003, p. 26).
*** Dias (2003) afirma que o conteúdo de um documento designa aquilo que ele transmite ao usuário por meio de linguagem natural, imagens, sons, filmes, animações.
Como ferramentas tecnológicas de avaliação, utilizamos trêssoftwares, selecionados entre vários encontrados na Internet. O objetivo era verificar mais profundamente a questão da acessibilidade e a gestão do portal. As versões dos três softwares são free e foram escolhidas porque atendiam melhor aos objetivos da pesquisa.
QUADRO 1
Serviços do Portal Rede Governo selecionados para avaliação da dimensão funcionalidade
Serviç |
Localização |
busca avançada – Diário Oficial da União e Diário Oficial da Justiça; |
Área 1 (Publicações oficiais) |
consulta a processos existentes na administração pública federal; |
Área 11 (Passo a Passo) |
consulta e acompanhamento de – Sistema Integrado de Controle de Processos/Sicop; |
Área 7(Certidões Nada-Consta) |
contracheque (Siapenet); |
Área 7(Servidor Público) |
crianças e adolescentes desaparecidos; |
Área 11 (Passo a Passo) |
evite filas – vá ao posto do INSS com o formulário desejado para pedir seus benefícios; |
Área 11 (Passo a Passo) |
extrato de situação fiscal – pessoa física; |
Área 1 (Fisco) |
multa de trânsito em rodovias federais II; |
Área 7(Certidões Nada-Consta) |
previsão do tempo no Instituto Nacional de Pesquisas Espaciais; |
Área 4 (Clima e tempo) |
consulta a processos no Superior Tribunal de Justiça – STJ; |
Área 7 (Processos na Justiça) |
telegrama via Internet; |
Área 1 (Correios) |
tributos e contribuições federais – pessoa física. |
Área 7 (Pagamentos ao governo) |
Os endereços (link) de todos os serviços avaliados no portal Rede Governo encontram-se em Simão (2004) referenciado na bibliografia final deste artigo.
Fonte: Simão (2004, p.168).
O primeiro utilizado foi o Link Validation, da HiSoftware Solutions, configurado para executar a operação da seguinte forma: a) testar todos os links até o terceiro nível, a partir da página inicial; b) tempo máximo de espera em cadalink igual a 120 segundos. Como julgamos ser importante identificar o número total de links do portal (o que não foi possível com a versãofree do Link Validation), submetemos o portal a outro teste no segundo software, o CyberSpyder Link Test*, com as seguintes configurações: a) testar todos os tipos de links; b) tempo de espera de 30 segundos. Para verificar o nível de acessibilidade do Portal Rede Governo, foi realizada uma avaliação utilizando o software daSilva**. Finalmente, a página inicial do Portal Rede Governo foi dividida em 12 áreas (figura 1), para facilitar a localização de cada parâmetro nas referidas áreas. O quadro 1 e a figura 2 permitem uma visualização mais clara dos serviços avaliados e da página inicial do portal dividida por áreas.
AVALIAÇÃO DAS DIMENSÕES DO PORTAL REDE GOVERNO
Tendo como base a metodologia de Vilella, como assinalado anteriormente, na avaliação do Portal Rede Governo mantivemos as três dimensões (conteúdo, usabilidade e funcionalidade) propostas pela autora, que são, por sua vez, compostas de 14 parâmetros (abrangência/ cobertura e propósito, atualidade, metadados, correção, autoridade/copyright, objetividade, inteligibilidade, apreensibilidade, operacionalidade, adequação, acurácia, interoperabilidade, conformidade, segurança de acesso) agrupando 73 critérios***. A seguir, detalharemos a avaliação de cada parâmetro.
AVALIAÇÃO DOS PARÂMETROS DA DIMENSÃO CONTEÚDO
Abrangência/cobertura e propósito
Apesar de trazer o título da página inicial Portal de Serviços e Informações do Governo e, na área 2 (da página inicial), Portal de Serviços e Informações do Governo Rede Governo, no portal em si não existe em nenhum outro local a descrição de seu conteúdo. No entanto, no portal do MPOG na apresentação de sua Secretaria de Logística e Tecnologia da Informação (SLTI) que são os responsáveis pelo portal existe boa descrição do propósito do Portal Rede Governo.
FIGURA 2
Página inicial do Portal Rede Governo
Fonte: Simão (2004, p.129).
O escopo do portal também não está claramente definido para o usuário. Apenas no momento da pesquisa se percebe que a maioria das informações e serviços não é oriunda do próprio portal, e sim de outros órgãos do governo. As datas das informações, quando aparecem, são de responsabilidade dos sítios para os quais o portal direciona os usuários. Alguns serviços e informações estão descritos nas áreas 1, 5, 6, 7 e 11. Temas abordados, como é o caso da opção cidadania, localizada na área 1, além de remeter para uma série delinks sobre o assunto, ainda redireciona para projetos do governo e de ONGs que possuem programas de apoio ao desenvolvimento da cidadania.
Atualidade
Grande parte do conteúdo do portal é gerenciada por outros órgãos do governo. O conteúdo de responsabilidade direta dos gestores do portal está, aparentemente, sempre atualizado, mas não há um local específico para que se possa comprovar tal fato: pode-se apenas deduzir pelas informações alusivas a datas importantes, por exemplo.
Metadados
Na página inicial do portal é possível encontrar, dependendo do navegador utilizado, a opção de exibir o código fonte. No Portal Rede Governo, observa-se que não houve a utilização demetatags de HTML* ou de XML**. No entanto, houve preocupação em descrever o título da página com a seguinte linha de comando: <title>Portal de Serviços e Informações de Governo <title>. Seria interessante o título informar que o portal pertence ao governo brasileiro, para maior exatidão nas pesquisas realizadas pelos mecanismos de buscas. Foram encontradas algumas páginas sem título, e em outras foram observados títulos incoerentes com o conteúdo.
* Disponível em:<http://www.cyberspyder.com/cslnkts2.html>. Aces-so em: 22 maio 2004.
** Disponível em: <http://www1.acessobrasil.org.br/dasilva/dasilva. html> Acesso em: 15 maio 2004.
*** Para o detalhamento dos 73 critérios propostos por Vilella, reme-temos aos quadros 2, 3 e 4 no final deste artigo.
Correção
Em nenhum local está claro de quem é a responsabilidade pela precisão das informações encontradas. Pela URL é possível perceber para qual domínio o usuário foi redirecionado, podendo-se concluir a origem da informação apresentada. As referências a fontes de informação são raras. Entretanto, quando existem, são referenciadas de forma correta. Nos textos produzidos pela equipe do portal não foram encontrados erros de digitação, de grafia ou de gramática, ou ainda outras inconsistências.
Autoridade/Copyright
O portal não possui informações sobre a sua propriedade intelectual nem sobre as condições para o estabeleci-mento de links, de sítios para o portal. Uma inovação é que o responsável por qualquer sítio pode solicitar o envio do código para instalação da caixa de busca do Rede Governo para ser instalada. Depois de receber o código (via e-mail), o usuário poderá fazer a instalação. Esse recurso possibilita acesso rápido e fácil a todos os serviços e informações do portal. A menção às fontes das informações não constitui procedimento padrão, até porque grande parte das informações sãolinks para outros órgãos do governo. O responsável pelo portal está identificado, mas de forma muito genérica na área 2, onde está descrito Ministério do Planejamento, Orçamento e Gestão. Com as informações constantes no portal, fica difícil para o usuário verificar a sua legitimidade, pois não há endereço nem telefone dos responsáveis pelo portal.
Objetividade
No que se refere a esse parâmetro, o conteúdo do Portal Rede Governo apresenta-se, em linhas gerais, de acordo com o seu propósito e missão. No entanto, devido à diversidade de público-alvo, ainda está aquém das necessidades do cidadão. A quantidade delinks e a falta de gerência sobre o conteúdo de outros órgãos tiram parte da objetividade do conteúdo. O estilo de linguagem utilizado é claro e consistente. Não foram encontrados jargões nem termos que pudessem denotar qualquer tipo de preconceito. Porém, com relação à utilização de imagens, na área 7 todas representam bem o conteúdo que abrigam, exceto o ícone Auxílios ao Cidadão (uma mão estendida como a de um pedinte), que pode levar a uma interpretação pejorativa. A informação disponibilizada está livre de publicidade, e, apenas em local predeterminado para isso (área 12), encontramos o logotipo (com link), que é alterado de acordo com a política demarketing do portal.
* HTML é a sigla de Hypertext Markup Language (linguagem de marcação de hipertexto).
** eXtensible Markup Language, é uma linguagem para descrição de dados proposta pelo W3C (World Wide Web Consortium) a fim de atender às necessidades de comunicação entre sistemas, fornecendo uma identificação flexível para todo o tipo de informação.
AVALIAÇÃO DOS PARÂMETROS DA DIMENSÃO USABILIDADE
Inteligibilidade
O Portal Rede Governo possui boa adequação de estilos, de tamanho de fontes e de cores. Conforme recomendam Nielsen e Tahir (2002), o portal utiliza predominan-temente a cor branca para plano de fundo, o que facilita a combinação com outras cores. O portal possui bom equilíbrio de utilização do negrito e uma área de navegação principal bem posicionada.
Embora exista um link ativo que redireciona para a página principal (procedimento não recomendado por confundir o usuário), esselink passa a ter funcionalidade, tendo em vista que serve para acessar o botão de voltar para a página inicial, que está localizado no canto inferior esquerdo (área 1), ou seja, em um local de difícil acesso. Os termos utilizados para definir as opções de categorias são claros e estão dispostos em ordem alfabética, o que facilita a procura. No entanto, dois dos termos já constam nas áreas 5 (Fale conosco) e 7 (Centrais de atendimento). Os ícones de navegação representam uma metáfora do mundo real, o que facilita a dedução do conteúdo a ser encontrado pelo usuário após clicar no ícone.
Nem todos os links são claros de forma a tornar fácil a compreensão de seu conteúdo. Alguns links, quando acessados, retornam à página inicial do órgão responsável pelo serviço ou informação, o que dificulta ao usuário encontrar a informação ou serviço procurado. Foi encontrada no portal a instrução genérica clique aqui (área 10) no lugar do nome dolink. A presença delink é indicada claramente, embora esteja padronizada. O menu e as caixas de textos presentes respeitam as características funcionais do portal.
Apreensibilidade
Recursos facilitadores como o Mapa do portal (área 5), e Ferramenta de busca (área 4) estão presentes e são facilmente identificados. Além da ferramenta de busca comum, existe a busca avançada, na qual é possível filtrar a pesquisa por unidade da federação ou ainda escolher o universo da pesquisa (portal ou Internet). Faltam no portal uma seção de ajuda e uma de perguntas mais freqüentes (FAQs). Essas duas seções poderiam auxiliar bastante a navegação dos usuários. Na área 8, foi encontrada uma indicação de que o portal é mais bem visualizado na resolução 800x600 pixels e que é compatível com Internet Explorer 5.5, ou superior, e também está sendo adequado para os navegadores Netscape 6.2, ou superior, e Mozilla 1.0, ou superior. A grande deficiência encontrada no portal é a falta de indicação da existência de uma interface humana disponível para dar suporte ao usuário.
Operacionalidade
Quanto ao leiaute do portal, podemos destacar os seguintes aspectos: a) é facilmente adaptado, sendo possível a visualização em várias configurações de tamanho da janela; b) os logotipos são utilizados criteriosamente, obedecendo ao que prescreve a Resolução nº 7/2002, que estabelece as diretrizes para os sítios da administração pública federal; c) o logotipo do e-gov possui a funcionalidade de retornar para a página inicial; c) para cada assunto divulgado na área 8, existe uma figura para simbolizar a notícia; d) os itens não estão agrupados na área de navegação, de modo que as categorias semelhantes ou relacionadas fiquem próximas. A opção foi colocá-las em ordem alfabética decrescente; e) estão disponíveis áreas de navegação diferentes para o mesmo tipo de links, fato que pode criar dificuldades para a navegação. Oslinks não mudam a cor após serem visitados. A URL www.redegoverno.gov.br é clara, portanto não apresenta dificuldade de digitação para o usuário.
Com relação à disponibilidade do portal, pode-se afirmar que é próxima dos 100%. Durante o período de análise, o portal esteve no ar em quase todos os horários em que o acessamos. Um ponto negativo observado consiste na impossibilidade de acessar o portal utilizando outras mídias, comopalm tops e celulares. Outro ponto negativo é o fato de o portal não ser totalmente acessível por portadores de necessidades especiais. Um teste realizado pelo aplicativo da Silva* detectou quatro erros de prioridade* 1, um erro de prioridade 2 e outro de prioridade 3. Apesar da quantidade, os erros são de fácil solução. Podem ser resolvidos, por exemplo, descrevendo textualmente cada elemento não textual (por exemplo, utilizando os comandos alt ou longdesc). Essa descrição deve ser feita em imagens, representações gráficas e tabelas em geral, imprescindíveis para o entendimento do texto.
* O da Silva é o primeiro avaliador de acessibilidade em língua portu-guesa. Com ele, é possível avaliar sítios que estão na Internet ou serão publicados na rede, e se são acessíveis para pessoas portadoras de deficiência. O da Silva foi desenvolvido pela Acessibilidade Brasil para disseminar os princípios de acessibilidade preconizados pelo W3C/WAI e está disponível em: <http://www1.acessobrasil.org.br/ dasilva/dasilva.html> Acesso em: 15 maio 2004.
* Pontos que os criadores de conteúdo Web devem satisfazer inteiramente. Se não o fizerem, um ou mais grupos de usuários ficarão impossibilitados de acessar as informações contidas no documento. A satisfação desse tipo de pontos é um requisito básico para que determinados grupos possam acessar documentos disponíveis na Web.
AVALIAÇÃO DOS PARÂMETROS DA DIMENSÃO FUNCIONALIDADE
Adequação
O portal oferece informações e viabiliza a prestação de serviços on-line. Não ficou evidente se o portal é um ambiente de comunicação bidirecional. Faltam ainda ferramentas como Chat, Fórum, ou ainda salas de discussão, em que o cidadão possa ter a possibilidade de emitir sua opinião e sugerir melhorias na execução dos serviços do portal. Falta também a agregação de recursos de CRM, atualmente uma tendência de portais mais funcionais, segundo a Accenture (2003). Provavelmente, por não possuir os recursos e as ferramentas anteriormente descritos, o portal não pode ser considerado um espaço para criação de comunidades de interesses específicos que melhore a interação do cidadão com o governo. Outro recurso importante de que o portal não dispõe é a capacidade de criar uma visão personalizada baseada no perfil do usuário. Esse recurso é indispensável no caso do Portal Rede Governo, em razão da grande quantidade de informações, e a sua ausência pode até desestimular o usuário. Um ponto positivo do portal é o bom aproveitamento do espaço destinado à disseminação de notícias sobre políticas públicas e outras atividades do governo (área 8). Essa área está sempre atualizada, enfatizando as campanhas públicas e outros assuntos de interesse do cidadão.
Acurácia
O Portal Rede Governo disponibiliza formulários de diversos órgãos, paradownload e posterior impressão, o que possibilita ao cidadão dirigir-se aos órgãos públicos de seu interesse com os formulários preenchidos, resultando em ganho de tempo. Outro serviço oferecido, com grande benefício ao cidadão, é a consulta à base de dados. É possível, por exemplo, retirar certidão de nada consta, verificar a situação perante a Receita Federal, consultar multa de trânsito e pontuação perdida na carteira de habilitação, e até mesmo a pesquisa de processos em órgãos do Poder Judiciário. Em alguns casos, é possível também fazer pagamentos, como, por exemplo, de tributos e contribuições federais pessoa física, que permite tanto o pagamento quanto o agendamento no Banco do Brasil.
A interface unificada de serviços e informações oferecida pelo portal está estruturada por temas; porém, em alguns aspectos, parece haver dificuldade em libertar-se da estrutura departamental do governo. Ao que tudo indica, não houve preocupação em disponibilizar o conteúdo por grupos de audiência, como, por exemplo, jovens, idosos, estudantes do ensino fundamental e médio, entre outros. Como observamos anteriormente, uma forma avançada de apresentação do conteúdo é a classificação baseada em fatos da vida (life events), o que ainda não ocorre no Portal Rede Governo.
Interoperabilidade
Pela análise realizada nos serviços e informações, observou-se que a quase totalidade dos serviços transacionais é processada em outros órgãos, havendo, portanto, pequena interoperabilidade entre os dados no portal. Esse fato demonstra claramente a necessidade de reorganização dos sistemas de informação do governo como um pré-requisito para a construção de um portal com conceitos mais atuais. Sobre esse assunto, alguns autores, como Santos (2002), Silveira (2002), Vilella (2003), são enfáticos quanto à necessidade de haver uma quebra de paradigmas na administração pública para implantação de um portal de e-gov que alcance os benefícios desejados. Quanto à forma de recuperação das informações no portal, pode-se afirmar que existe eficiente ferramenta de busca, com a funcionalidade de ser instalada em outros sítios, do governo ou não, o que certamente contribui para maior divulgação do portal.
Com relação ao acesso a fontes de dados heterogêneas, este, sem dúvida, existe. No entanto, praticamente não há efetivação da transação entre esses dados, ou seja, o acesso é realizado diretamente pela aplicação e no ambiente computacional do responsável pelo serviço ou informação.
Conformidade
Como observado anteriormente, há uma resolução do Comitê Executivo do Governo Eletrônico (Cege) definindo uma série de ações que os órgãos públicos deveriam seguir na construção de páginas na Internet. Posteriormente, a própria SLTI publicou portaria definindo normas para a gerência do conteúdo do portal e um guia para elaboração dewebsites. A resolução do Cege entrou em vigor na data da publicação e concedeu prazo até dezembro de 2002 para que todos os órgãos da administração pública federal se adequassem às novas regras. No Portal Rede Governo, a maioria dos itens da resolução foi observada, porém alguns precisam ser revistos e equacionados. Outra legislação que tem sido fielmente cumprida, tanto no Rede Governo quanto na maioria dos sítios governamentais, é a Instrução Normativa n° 31/2003, que trata das marcas do governo na Internet. A área 2 (figura 2) tem como objetivo cumprir o que determina essa instrução normativa.
Segurança de acesso
Esse parâmetro deve ser avaliado com particular atenção. Uma das determinações da Resolução n° 7/2002 do Cege é quanto à utilização de testemunhas de conexão de caráter permanente (cookies), que somente deve ser feita com a concordância do usuário. O cidadão, conforme previsto na Constituição Federal, tem direito ao acesso às informações e ao mesmo tempo tem o direito à privacidade de suas informações pessoais. O Rede Governo, ao ser acessado pela primeira vez, solicita ao usuário autorização para instalação de cookies, conforme prevê a resolução. Essa prática demonstra profissiona-lismo e respeito à privacidade do cidadão, ponto muito positivo do portal. No entanto, não foram identificados recursos de criptografia e site seguro no portal.
O Rede Governo, ao ser submetido ao teste da disponibilidade de seus links, utilizando o Link Validation com as mesmas configurações especificadas, durou cerca de 1 hora e 30 minutos. O software encontrou 3.671 links, dos quais 31 estavam quebrados. O teste com CyberSpyder Link Test durou mais tempo, tendo em vista que ele não possui limitação do número de links. Foram encontrados 33.837 links. Desses, 4.986 estavam com problemas. Esse resultado aponta para necessidade de revisão da política de manutenção dos links do Rede Governo.
O resultado final para cada dimensão avaliada é apresentado a seguir em quadros-síntese com as notas, detalhados por critérios e parâmetros (quadros 2, 3 e 4). Um gráfico resumido com o total das notas, por dimensões, permite uma comparação global (figura 3).
SÍNTESE DOS RESULTADOS DA AVALIAÇÃO DO PORTAL REDE GOVERNO
Quadro 2
Avaliação da dimensão Conteúdo (Peso 3)
Parâmetro |
Critérios |
Peso |
NC* |
Total |
NP** |
|||||||
(Peso 2) |
Uma visão geral do portal é oferecida: propósito/missão do portal, apropriados à missão geral da entidade/órgão. |
3 |
1 |
3 |
3,34*** |
|||||||
O escopo do portal está claramente colocado: tipo e origem da informação, público, datas de cobertura etc. |
3 |
1 |
3 |
|||||||||
Os serviços e informações oferecidos estão descritos no portal. |
3 |
2 |
6 |
|||||||||
Existem links para outras fontes de informação sobre os assuntos abordados. |
2 |
4 |
8 |
|||||||||
Existe indicação de que o conteúdo está disponível em outros idiomas. |
1 |
0 |
0 |
|||||||||
Total |
|
12 |
|
20 |
1,67 |
|||||||
Atualidade (Peso 3) |
O conteúdo está atualizado. Isso pode ser avaliado por meio das datas de última atualização das páginas, e também buscando por informação que se sabe que foi tornada disponível recentemente. |
3 |
3 |
9 |
4,50*** |
|||||||
As datas da última atualização aparecem nas páginas de conteúdo mais substantivo. |
3 |
0 |
0 |
|||||||||
Total |
|
6 |
|
9 |
1,50 |
|||||||
Metadados (Peso 3) |
Metatags apropriados são oferecidos, por exemplo: título, autor, descrição, palavras-chave. |
2 |
1 |
2 |
4,80*** |
|||||||
Cada página recebe título corretamente. |
3 |
2 |
6 |
|||||||||
Total |
|
5 |
|
8 |
1,60 |
|||||||
Correção (Peso 2) |
Está claro quem tem a responsabilidade pela precisão da informação apresentada. |
3 |
2 |
6 |
5,16*** |
|||||||
Referências a fontes de informação são feitas de forma precisa. |
2 |
2 |
4 |
|||||||||
Erros de digitação, grafia e gramática e outras inconsistências não estão presentes. |
2 |
4 |
8 |
|||||||||
Total |
|
7 |
|
18 |
2,58 |
|||||||
Autoridade/ Copyright (Peso 3) |
Informações sobre copyright são fornecidas: identifica a propriedade intelectual do site e condições para estabelecimento de links, por exemplo. |
2 |
0 |
0 |
2,40*** |
|||||||
A menção das fontes de informação apresentada é um procedimento padrão. |
2 |
4 |
8 |
|||||||||
O responsável pela página está claramente identificado. |
3 |
0 |
0 |
|||||||||
Existe um meio de verificar a legitimidade da página, como um número de telefone ou endereço postal, por meio do qual se possa estabelecer contato para mais informações (um endereço de e-mail não é o suficiente). |
3 |
0 |
0 |
|||||||||
Total |
|
10 |
|
8 |
0,80 |
|||||||
Objetividade (Peso 3) |
O conteúdo da página inicial (homepage) está de acordo com o propósito/missão. |
3 |
3 |
9 |
10,95*** |
|||||||
O conteúdo se adapta às necessidades do público-alvo. |
3 |
4 |
12 |
|||||||||
O conteúdo é escrito em estilo de linguagem clara e consistente, em acordo com o público-alvo. |
3 |
3 |
9 |
|||||||||
Tom positivo e profissional: evita jargões, humor, acusações. |
3 |
4 |
12 |
|||||||||
A linguagem não mostra preconceitos: racial, cultural, político, comercial. |
3 |
4 |
12 |
|||||||||
A informação está livre de publicidade. |
2 |
4 |
8 |
|||||||||
Total |
|
17 |
|
62 |
3,65 |
|||||||
NC*= Nota do Critério; NP**= Nota do Parâmetro; *** Nota do Parâmetro multiplicada pelo Peso |
Nota final da dimensão |
1,95 |
||||||||||
Quadro 3
Avaliação da dimensão Usabilidade (Peso 3)
Parâmetro |
Critérios |
Peso |
NC* |
Total |
NP** |
|||||||
(Peso 2) |
Existe uma adequação de estilos de fonte e outros atributos de formatação de texto, como tamanhos, cores etc. ao conteúdo da página. |
2 |
3 |
6 |
7,08*** |
|||||||
Os caracteres encontram-se o mais legível possível, levando-se em conta a utilização de contraste e cores de plano de fundo. |
2 |
3 |
6 |
|||||||||
A área de navegação principal está alocada em um local bastante destacado, permitindo sua imediata identificação. |
3 |
4 |
12 |
|||||||||
Não está presente um link ativo para a homepage na própria homepage, fato que pode confundir o usuário durante a navegação. |
1 |
0 |
0 |
|||||||||
Os termos utilizados para definir as opções de navegação de categorias são claros, sendo as categorias diferenciáveis entre si. |
3 |
4 |
12 |
|||||||||
Os ícones de navegação são utilizados de forma a efetivamente ajudar os usuários a reconhecer imediatamente uma classe de itens. |
3 |
4 |
12 |
|||||||||
Os links são claramente diferenciados, de forma a tornar fácil a compreensão de seu conteúdo. |
3 |
3 |
9 |
|||||||||
Instruções genéricas, que não são reveladoras para a navegação, a exemplo de “Clique aqui”, ou “Veja mais”, ou “Mais Links”, no lugar de um nome de link, não estão presentes. |
1 |
3 |
3 |
|||||||||
A presença de links é indicada claramente. |
3 |
4 |
12 |
|||||||||
Caso um link acione um aplicativo de áudio ou vídeo, de mensagens de e-mail ou outro aplicativo qualquer, há indicação explícita do que acontecerá. |
2 |
4 |
8 |
|||||||||
Componentes da interface com o usuário, como menus, caixas de texto ou listas de seleção, são utilizados respeitando-se as suas características funcionais. |
3 |
4 |
12 |
|||||||||
Total |
|
26 |
|
92 |
3,54 |
|||||||
Apreensibilidade (Peso 3) |
Recursos para facilitar a navegação, por exemplo: mapas do sítio, indicadores de novas informações disponíveis, ferramentas de busca etc., estão disponíveis e são facilmente identificáveis. |
3 |
4 |
12 |
7,41*** |
|||||||
Recursos para facilitar a apreensão do funcionamento da aplicação, como seções de ajuda e perguntas mais freqüentes estão disponíveis e são facilmente identificáveis. |
3 |
0 |
0 |
|||||||||
Instruções de uso são fornecidas. Instrução sobre necessidade de uso de browser específico, por exemplo. |
2 |
4 |
8 |
|||||||||
Instruções essenciais aparecem antes que os links requeiram a interação do usuário. |
3 |
4 |
12 |
|||||||||
Existe indicação da existência de uma interface humana disponível para dar suporte à utilização, caso necessário. |
2 |
0 |
0 |
|||||||||
Total |
|
13 |
|
32 |
2,47 |
|||||||
Operacionalidade (Peso 3) |
A rolagem horizontal da página a 800x600 (tamanho de janela mais predominante na época da execução deste trabalho) é evitada. |
3 |
4 |
12 |
6,75*** |
|||||||
Os elementos mais críticos da página estão visíveis “acima da dobra” (na primeira tela de conteúdo, sem rolar verticalmente), no tamanho de janela mais predominante (800x600). |
3 |
4 |
12 |
|||||||||
O leiaute permite o ajustamento do tamanho da homepage a diversas resoluções de tela. |
3 |
4 |
12 |
|||||||||
Os logotipos são utilizados criteriosamente. |
3 |
4 |
12 |
|||||||||
Itens estão agrupados na área de navegação, de modo que as categorias semelhantes ou relacionadas estão próximas entre si. |
3 |
0 |
0 |
|||||||||
Não estão disponíveis áreas de navegação diferentes para o mesmo tipo de links, fato que cria dificuldades para o estabelecimento de significado. |
2 |
0 |
0 |
|||||||||
São permitidos links coloridos para indicação dos estados visitados e não visitados. |
2 |
0 |
0 |
|||||||||
O acesso direto às tarefas de alta prioridade é oferecido na homepage. |
3 |
0 |
0 |
|||||||||
A URL é clara ou não apresenta dificuldade de digitação para o usuário. |
3 |
4 |
12 |
|||||||||
O portal pode ser acessado na maior parte do tempo, sem que esteja “fora do ar” (esse aspecto será analisado a partir da verificação da disponibilidade do portal três vezes ao dia – manhã, tarde e noite – durante o período de uma semana). |
3 |
4 |
12 |
|||||||||
O conteúdo do portal pode ser acessado por meio de outras mídias, como celulares ou palm-tops, informando isso aos usuários. |
2 |
0 |
0 |
|||||||||
O portal oferece recursos especiais para acesso de pessoas portadoras de deficiência. |
2 |
0 |
0 |
|||||||||
Total |
|
32 |
|
72 |
2,25 |
|||||||
NC*= Nota do Critério; NP**= Nota do Parâmetro; *** Nota do Parâmetro multiplicada pelo Peso |
Nota final da dimensão |
2,66 |
||||||||||
QUADRO 4
Avaliação da dimensão Funcionalidade (Peso 3)
Parâmetro |
Critérios |
Peso |
NC* |
Total |
NP** |
||||||||
Adequação (Peso 2) |
O portal oferece informações e viabiliza a prestação de serviços públicos on-line. |
3 |
3 |
9 |
3,06*** |
||||||||
|
O portal funciona como um ambiente de promoção da comunicação em dois sentidos (por comunicação em dois sentidos entende-se o real diálogo entre governo e cidadãos, com verdadeira possibilidade de participação, com soluções, a exemplo de fóruns etc.). |
2 |
0 |
0 |
|||||||||
O portal oferece espaços de cooperação, a exemplo de salas de discussão e chats. |
2 |
0 |
0 |
||||||||||
O portal incentiva a criação de comunidades de interesses específicos que ajudem os usuários a interagir em conversações e negociações com outros usuários e com o governo. |
2 |
2 |
4 |
||||||||||
Estão disponíveis aplicações colaborativas para compartilhamento de documentos. |
2 |
0 |
0 |
||||||||||
O usuário pode criar uma visão personalizada do conteúdo do portal. |
2 |
0 |
0 |
||||||||||
O portal agrega recursos de CRM, oferecendo uma interface adequada às demandas mais freqüentes do usuário. |
2 |
0 |
0 |
||||||||||
O portal destina espaço para a disseminação de notícias sobre as atividades do governo. |
2 |
4 |
8 |
||||||||||
O portal destina espaço para a disseminação de informações sobre políticas públicas. |
2 |
4 |
8 |
||||||||||
Total |
|
19 |
|
29 |
1,53 |
||||||||
Acurácia (Peso 2) |
O portal oferece informações e formulários on-line (formulários disponíveis para download) que podem ser impressos para a execução de serviços que só podem ser acessados nos locais físicos. |
2 |
4 |
8 |
4,24*** |
||||||||
|
O portal viabiliza a realização de pesquisas de informações (acesso a bases de dados). |
3 |
4 |
12 |
|||||||||
O portal possibilita a troca de valores entre o usuário e o governo, ou seja, permite transações formais de pagamento de taxas ou recebimento de reembolsos on-line. |
3 |
0 |
0 |
||||||||||
O portal pode avisar ao usuário quando um novo conteúdo de seu interesse foi inserido. |
2 |
0 |
0 |
||||||||||
O portal provê uma interface unificada para oferta de informações e serviços governamentais cujo esquema de classificação das informações é o espelhamento da estrutura hierárquica departamental do governo. |
1 |
0 |
0 |
||||||||||
O portal provê uma interface unificada para oferta de informações e serviços governamentais cujo esquema de classificação das informações baseia-se em uma estrutura de assuntos ou temas. |
3 |
4 |
12 |
||||||||||
O portal provê uma interface unificada para oferta de informações e serviços governamentais cujo esquema de classificação das informações baseia-se em grupos de audiência (por grupos de audiência entende-se, por exemplo, cidadãos sêniores, jovens etc.). |
2 |
3 |
6 |
||||||||||
O portal provê uma interface unificada para oferta de informações e serviços governamentais cujo esquema de classificação das informações baseia-se em life-events (por life-events entende-se “fatos da vida”, por exemplo, perda da carteira de identidade, ou nascimento de um filho etc.). |
2 |
0 |
0 |
||||||||||
Total |
|
18 |
|
38 |
2,12 |
||||||||
Interoperabilidade (Peso 3) |
O portal congrega informações de diferentes sites, não se configurando como um catálogo de links. |
2 |
2 |
4 |
9,40*** |
||||||||
|
Está disponível um mecanismo de busca que facilite a requisição de informações mais exatas e específicas. |
3 |
4 |
12 |
|||||||||
O portal provê acesso a fontes de dados heterogêneas, de forma transparente para o usuário. |
3 |
3 |
9 |
||||||||||
Total |
|
8 |
|
25 |
3,13 |
||||||||
Conformidade (Peso 2) |
O portal está estruturado de acordo com uma política de desenvolvimento estabelecida pelo governo (esse aspecto será verificado a partir da busca de decretos, regulamentações ou outro tipo de documentos oficiais que descrevam a política de desenvolvimento adotada pelo governo). |
2 |
3 |
6 |
6,00*** |
||||||||
Total |
|
2 |
|
6 |
3,00 |
||||||||
Segurança de acesso (Peso 3) |
O portal especifica uma política de privacidade e segurança dos dados fornecidos pelos usuários. |
3 |
1 |
3 |
1,50*** |
||||||||
|
O portal utiliza recursos de criptografia e site seguro. |
3 |
0 |
0 |
|||||||||
Total |
|
6 |
|
3 |
0,50 |
||||||||
NC*= Nota do Critério; NP**= Nota do Parâmetro; *** Nota do Parâmetro multiplicada pelo Peso |
Nota final da dimensão |
2,02 |
|||||||||||
FIGURA 3
Avaliação do Portal Rede Governo (notas por dimensão)
Fonte: Simão (2004, p.146).
Em relação às iniciativas normatizadoras, percebemos que, por exemplo, a atualização e manutenção do conteúdo do portal, nos moldes previstos pela Portaria Normativa Nº 3/2002, é de difícil operacionalização, devido ao grande número de órgãos envolvidos. No teste realizado com o Link Validation, como foram considerados apenas três níveis, a quantidade delinks quebrados foi pequena. Quando utilizamos o CyberSpyder Link Test, que verificou todos os links, a quantidade aumentou muito, o que pode indicar que a maioria dos links com problemas está localizada nas páginas dos órgãos para os quais o portal possui links.
Um recurso desejável é a possibilidade de disponibilizar o conteúdo de acordo com o perfil do usuário e numa hierarquia ou categorização dos serviços e das informações oferecidos. Nesse sentido, convém lembrar uma recomendação doLivro Verde português, que sugere a classificação da informação em categorias: [...] a informação de cidadania (que deve ser universal e gratuita), a informação para o desenvolvimento (remunerada a preço simbólico custo de suporte ou eventualmente gratuita) e a informação de valor acrescentado (disponibilizada a preços de mercado) (PORTUGAL.MINISTÉRIO DA CIÊNCIA E TECNOLOGIA, 1997, p.33).
Um avanço significativo na eficiência do portal refere-se aos parâmetros da dimensão usabilidade. Constatou-se equilíbrio entre as notas, e a menor delas foi atribuída ao parâmetro operacionalidade. Interessante observar, portal cujo objetivo principal deve ser fornecer informações e serviços que ajudem os cidadãos na sua vida cotidiana que, necessariamente, depende do Estado, logo, da administração pública.
CONSIDERAÇÕES FINAIS
A metodologia proposta por Vilella (2003) demonstrou ser um instrumento objetivo e eficiente para uma avaliação crítica do Portal Rede Governo. De acordo com a premissa geral que norteou nossa pesquisa, intitulada Universalização dos serviços públicos na Internet: análise crítica das ações do governo federal, a criação do portal, como indicado na introdução, foi um dos aspectos considerados e, por isso, o Portal Rede Governo foi analisado. De maneira geral, a metodologia adaptada ao portal pôde ajudar-nos a perceber os seus pontos fortes e fracos. Percebeu-se que muitos dos problemas identificados podem ser facilmente resolvidos e que, muitas vezes, decorrem da ausência de gerenciamento, como no caso da dimensão conteúdo. Tanto a revisão de literatura, quanto a experiência pessoal de acesso quase diário ao portal (em 2003 e 2004), autorizam-nos a recomendar a realização de estudos sobre, por exemplo, quais informações são mais relevantes para o cidadão. Talvez aqui esteja, de fato, o calcanhar de Aquiles de um também, que, entre os critérios, os dois que obtiveram as menores notas foram a impossibilidade de se acessar o portal por meio de celular ou palm top e a questão das dificuldades encontradas para o acesso das pessoas portadoras de necessidades especiais. Este último aspecto deve servir de alerta, pois as políticas públicas de inclusão social estão cada vez mais preocupadas com a inserção dessa categoria de cidadão que, de fato, requer políticas específicas.
De qualquer modo, as observações quanto aos pontos fracos do Portal Rede Governo, apontados na avaliação, não diminuem o seu mérito. A grande audiência*, a sua utilidade e até mesmo os prêmios** e homenagens que tem recebido demonstram que o portal está na direção certa. Entretanto, é importante que o governo federal cumpra a meta de disponibilizar um portal mais moderno e que atenda melhor às necessidades do cidadão, para aproveitar a receptividade do brasileiro quanto à utilização dos serviços públicos na Internet. Em março de 2004, o acesso aos portais dos governos no Brasil (nas esferas federal, estadual e municipal) foi proporcional-mente maior entre todos os países medidos***, chegando quase a 39% dos internautas, segundo pesquisa do Ibope e-Ratings.
* Segundo a equipe Rede Governo, em 2003, o portal recebeu uma média de 375 mil visitas e 19 milhões de páginas visualizadas por mês.
** Prêmio Disponível em: <http:// www.planejamento.gov.br/ te cnol ogi a_in for maca o/c onte udo/ not icia s/n otic ias _200 3/ ministerio_ganha _premio_da_revista_B2B.htm>. Acesso em: 26 maio 2004.
*** O Brasil foi o primeiro colocado com 38,8%, seguido da França com 37,6% e Espanha com 37,1% . Disponível em <http://www. ibope.com.br/eratings/ogrupo/empresa/eratings/index.htm>. Acesso em: 23 maio 2004.
Artigo recebido em 04/06/2005 e aceito para publicação em 06/01/2006.
REFERÊNCIAS
ACCENTURE egovernment leadership: engaging the customer. 2003. 94 p. Disponível em: <http://www.accenture.com/xdoc/en/industries/ government/gove_capa_egov_leadership.pdf>. Acesso em: 16 dez. 2003.
A GENTE entende esse negócio. B2BMagazine, São Paulo. Disponível em: <http://www.b2bmagazine.com.br/>. Acesso em: 15 maio 2004. AMAN software CyberSpyder link test version 2.1.18. Disponível em: <http://www.cyberspyder.com/cslnkts2.html >. Acesso em: 22 maio 2004.
ARAÚJO, Wagner Junqueira de. Marketing em serviços de informação governamental na web: estudo experimental de promoção do Portal Rede Governo. 2001. 159 f. Dissertação (Mestrado em Ciência da Informação)- Universidade de Brasília, Brasília, 2001.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. Subcomitê de Software (SC-21:10). Disponível em: <http://www.pr.gov.br/ abntsoftware/>. Acesso em: 11 maio 2004.
ASSUMPÇÃO, Rodrigo Ortiz. Rodrigo Ortiz Assumpção: entrevista. Entrevistador: João Batista Simão. Brasília: MPOG-SLTI, [s.d.]. Entrevista concedida para elaboração de dissertação de mestrado em Ciência da Informação na Universidade de Brasília, abr. 2004. BRASIL. Ministério do Planejamento, Orçamento e Gestão.Balanço de 2 anos do e-gov, 2002. 46 p. Disponível em: <http:// www.governoeletronico.gov.br/arquivos/ Balanco_preliminar_2_ Anos.pdf>. Acesso em: 12 abr. 2004.
_______. Grupo de Trabalho Novas Formas Eletrônicas de Interação. Proposta de política de governo eletrônico para o poder executivo federal brasileiro. 2000. Disponível em: < http://www.governoeletronico.gov.br/ governoeletronico/publicacao/down_anexo.wsp?tmp.arquivo= E15_202proposta_de_politica_de_governo_eletronico.pdf >. Acesso em: 25 mar. 2002.
_______. Ministério ganha prêmio da revista B2B com o portal rede governo. Disponível em: <http://www.planejamento.gov.br/ te cnol ogi a_in for maca o/c onte udo/ not icia s/n otic ias _200 3/ ministerio_ganha_premio_da_ revista_B2B.htm>. Acesso em: 26 maio 2004.
_______. Portal de serviços e informações de governo. Disponível em: <http://www.redegoverno.gov.br>. Acesso em: 30 abr. 2004.
_______. Portal do e-gov. Disponível em: <http:// www.governoeletronico.gov.br>. Acesso em: 30 abr. 2004.
_______. Secretaria de Logística e Tecnologia da Informação.Guia para o desenvolvimento de websites na administração pública federal . Disponível em: <http://www.governoeletronico.gov.br>. Acesso em: 16 jan. 2004.
_______. Sites coordenados. Disponível em: <http://www. p l a n e j a m e n t o . go v. b r / t e c n o l o gi a _ i n f o r m a c a o / c o n t e u d o / sites_coordenados/site_rede_governo.htm>. Acesso em: 8 abr. 2004.
_______ . Presidência da República. Marcas do governo federal. Disponível em: <http://www.presidencia.gov.br/marcas>. Acesso em: 10 jun. 2004.
_______. Resolução n º 7, de 29 de julho de 2002. Estabelece regras e diretrizes para os sítios na internet da Administração Pública Federal. Disponível em: <http://www.planalto.gov.br/ccivil_03/ Resolu%C3%A7%C3%A3o/2002/RES07-02web.htm>. Acesso em: 10 jun. 2004.
_______. Tribunal Regional do Trabalho (2. Região). Resolução nº 12, de 2002. Institui o Portal de Serviços e Informações de Governo - E-Gov. Disponível em: < http://www.trt02.gov.br/Geral/Tribunal2/orgaos/ Pres_Rep/RES_12_02.htm>. Acesso em: 10 jun. 2004.
CUNHA, Maria Alexandra Viegas Cortêz da. Portal de serviços públicos e de informação ao cidadão : estudo de casos no Brasil. 2000. 138 f. Tese (Doutorado em Administração)- Universidade de São Paulo, São Paulo, 2000.
DA SILVA: o primeiro avaliador de acessibilidade em português para websites. Disponível em: <http://www1.acessobrasil.org.br/dasilva/ dasilva.html>. Acesso em: 15 maio 2004.
DIAS, Cláudia A. Portal corporativo: conceitos e características. Ciência da Informação, Brasília, v. 30, n. 1, p. 50-60, jan./abr. 2001.
_______ . Usabilidade na web: criando portais mais acessíveis. 1. ed. Rio de Janeiro: Alta Books, 2003. 296 p.
GANT, Diana Burley; GANT, John P. Enhancig e-service delivery. In: GANT, Diana Burley et al. State web portals: delivering and financing e-service. Arlington: PWC, 2002. p. 5-34.
_______. Portais de web nos estados norte-americanos: fornecimento e financiamento de serviço eletrônico. Arlington: PWC, 2001. 83 p. HISOFTWARE link validation utility features. Disponível em: <http:/ /www.hisoftware.com/linkvalidate/ indexf.html#Qualifying% 20Products%20for%20No%20Charge%20Version>. Acesso em: 21 maio 2004.
INSTITUTO BRASILEIRO DE OPINIÃO PÚBLICA E ESTAT¥STICA. Impostos estaduais e municipais aumentam audiência dos sites governamentais na internet. Disponível em: <http:// www.ibope.com.br/eratings/ogrupo/empresa/eratings/index.htm >. Acesso em: 23 maio 2004.
NIELSEN, Jakob; TAHIR, Marie. Homepage usabilidade: 50 websites desconstruídos. Rio de Janeiro: Campus, 2002.
PORTUGAL. Ministério da Ciência e Tecnologia. Livro verde para a sociedade da informação em Portugal . Lisboa, 1997. Disponível em:< http:///www.cisi.mct.pt/ficheiros/si/docsProg/fsidp004.pdf>. Acesso em: 15 maio 2001.
RÊGO, Alexandre Pinheiro de Moraes. Alexandre Pinheiro de Moraes Rêgo: entrevista. Entrevistador: João Batista Simão. Brasília: SECOM.
Entrevista concedida para elaboração de dissertação de mestrado em Ciência da Informação na Universidade de Brasília, maio 2004. SANTOS, Roberval de Jesus Leone dos. Governo eletrônico: o que se deve e o que não se deve fazer. 2002. 67 p. Disponível em: < http:// www.clad.org.ve/fulltext/0043109.pdf>. Acesso em: 17 dez. 2003.
SILVEIRA, Henrique Flávio Rodrigues da. Governo e sistemas de informação: de arquipélago a continente.Revista do Serviço Público , Brasília, v. 53, n. 2, p. 117-149, abr./jun. 2002.
SIMÃO, João Batista. Universalização dos serviços públicos na internet : analise critica das ações do governo federal. 2004. 174 f. Dissertação (Mestrado em Ciência da Informação)- Universidade de Brasília, Brasília, 2004.
TERRA, José Cláudio Cyrineu; GORDON, Cindy.Portais corporativos: a revolução na gestão do conhecimento. São Paulo: Negócio, 2002. 453 p.
VILELLA, Renata Moutinho. Conteúdo, usabilidade e funcionalidade: três dimensões para avaliação de portais estaduais de governo eletrônico na web. 2003. 262 f. Dissertação (Mestrado em Ciência da Informação)-Universidade Federal de Minas Gerais, Belo Horizonte, 2003.
XAVIER, Rogério. Rogério Machado Xavier: entrevista. Entrevistador: João Batista Simão. Brasília: MPOG-SLTI, [s.d.]. Entrevista concedida para elaboração de dissertação de mestrado em Ciência da Informação na Universidade de Brasília, fev. 2004.