O fator do impacto

O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos

Aborda os conceitos e os métodos relacionados com o uso do fator de impacto (FI) do Institute for Scientific Information para avaliação da produção científica publicada em periódicos. Resgata a história do FI, desde sua formulação inicial até tornar-se objeto de inúmeras investigações sobre as diferenças nos valores do indicador nas várias áreas do conhecimento. Destaca que as variáveis que apresentam a maior influência sobre o FI são a densidade e o ritmo de obsolescência dos periódicos. Trata das abordagens sincrônicas e diacrônicas de medir a obsolescência da literatura, como o índice de citação imediata, a meia-vida das citações e o estudo da idade de referências citadas. Conclui com reflexões sobre o sistema de avaliação científica brasileiro e o papel do SciELO na formulação de indicadores bibliométricos.

Avaliação da produção científica; Fator de impacto; Institute for Scientific Information (ISI); Densidade dos artigos; Ritmo de obsolescência da literatura.

Impact factor od ISI and evaluation of scientific production: conceptual and methodological aspects

This paper deals with concepts and methods concerning the use of the Impact Factor (IF), as defined by the Institute for Scientific Information (ISI), on the evaluation of scientific production published in specialized journals. The history of IF is discussed from its first formulation up to the moment when it became the subject of a large amount of investigations regarding the differences among the values for different knowledge areas. It is emphasized that the main variables affecting IF are journal density and their obsolescence rate. The synchronous and diachronous approaches used to measure obsolescence are discussed, such as the immediacy index, half-life of citations and citation age. As a conclusion, the Brazilian system for scientific evaluation is analyzed, as well as the SciELO role on the formulation of bibliometric indicators.

Evaluation of scientific production; Impact factor; Institute for Scientific Information (ISI); Literature density; Literature obsolescence rate.

No Brasil, atualmente, a crescente demanda por financiamento de atividades científicas tem tornado necessário o estabelecimento de critérios mais exigentes do que aqueles até então utilizados na avaliação de pesquisadores e instituições. No caso específico da avaliação da excelência acadêmica de um pesquisador, para a qual durante muito tempo foi utilizada como critério a quantidade de trabalhos publicados, verifica-se um consenso de que os parâmetros deverão contemplar ainda a qualidade das publicações produzidas.

Além da tradicional avaliação por pares, Meadows (1999, p. 89) destaca que

uma forma de avaliar a qualidade de uma publicação consiste em verificar o nível de interesse dos outros pela pesquisa. O método mais simples para obter esta medida se dá por meio da quantidade de citações dessa pesquisa na bibliografia ulterior.

Este modo de avaliação de qualidade feita a partir do impacto das publicações na comunidade científica é denominado no ramo da bibliometria^* e da cientometria^**como análise de citações, ou estudo de citações, e tem se difundido mundialmente no âmbito das agências de fomento de pesquisa.

Dentre os vários indicadores bibliométricos formados a partir de dados de citações, destaca-se ainda que a identificação do número de referências feitas a um conjunto específico de trabalhos que se deseja qualificar é, possivelmente, um processo tão relevante de avaliação da atividade de pesquisa, quanto operacionalmente difícil de ser aplicado em agências de fomento. Essas dificuldades se devem principalmente à grande quantidade de documentos envolvidos nessas situações e as conhecidas inconsistências dos índices de citações e bibliografias.

^* Bibliometria é o estudo dos aspectos quantitativos da produção, disseminação e uso da informação registrada. Desenvolve padrões e modelos matemáticos para medir esses processos, usando seus resultados para elaborar previsões e apoiar tomadas de decisão (TAGUE-SUTCLIFFE, 1992, p. 1).

^** Cientometria é o estudo dos aspectos quantitativos da ciência como uma disciplina ou atividade econômica. A cientometria é um segmento da sociologia da ciência, sendo aplicada no desenvolvimento de políticas científicas. Envolve estudos quantitativos das atividades científicas, incluindo a publicação e, portanto, sobrepondo-se à bibliometria (TAGUE-SUTCLIFFE, 1992, p. 1).

Tendo em vista estas limitações, os dados de citações categorizados por periódicos e publicados em forma de Nas agências de fomento, os responsáveis pela elaboração indicadores no Journal Citation Reports (JCR) do Institute das políticas científicas são uma audiência assídua do for Scientific Information (ISI) passaram a ser usados como índice publicado pelo ISI devido à necessidade de avaliação parâmetro de avaliação de pesquisadores e instituições. dos pesquisadores com parâmetros objetivos, identificando São publicados anualmente no JCR três indicadores, as instituições que melhor correspondam às metas e por título de periódico: o índice de citação imediataobjetivos por eles definidos. Nesse ponto, retornando ao (immediacy index), a meia-vida das citações (cited Half- início do processo, esse interesse dos órgãos financiadores Life) e, finalmente, o índice bibliométrico mais conhecido acaba realimentando a necessidade de uso do FI por parte e utilizado, o fator de impacto (impact Factor). de autores, bibliotecários e editores.

À medida que o fator de impacto (FI) foi se estabelecendo como critério de avaliação de publicações nas mais diversas instâncias, foi crescendo igualmente o número de pesquisas que passaram a investigá-lo sob variadas formas e, invariavelmente, a criticá-lo como indicador de influência das publicações. Huth (2001, p.16) afirma que “o FI representa os resultados finais de um conjunto complexo de variáveis. As pessoas que consultam o FI não podem desconsiderar esta complexidade”.

Considerando estas questões até então mencionadas e o fato de alguns comitês do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) já estarem utilizando o FI, pretende-se neste artigo discutir os elementos fundamentais para a compreensão do sentido deste indicador, destacando os principais tópicos tratados nas pesquisas que fomentam uma intensa discussão no âmbito da ciência da informação.

Pode-se dizer que, em áreas cujos assuntos estudados independem, de um modo geral, de questões regionais e que, portanto, os periódicos internacionais constituem o principal veículo de divulgação de resultados de pesquisa, o FI do ISI é considerado um elemento determinante no processo de geração e difusão do conhecimento científico, tendo em vista sua influência no cotidiano de autores, bibliotecários, editores e administradores da ciência (TODOROV; GLÄNZEL, 1988; HUTH, 2001).

Os autores consideram o valor do indicador para identificar os periódicos que podem acarretar maior prestígio ao seu trabalho. Os bibliotecários vêem o FI como um parâmetro para seleção dos títulos de maior interesse para os cientistas quando precisam alocar os recursos de seus limitados orçamentos. Em contrapartida, editores de periódicos acompanham a evolução das medidas de impacto, pois desejam publicar artigos importantes (precisam ser atrativos para os autores) e, conseqüentemente, captar os recursos das bibliotecas.

Nas agências de fomento, os responsáveis pela elaboração das políticas científicas são uma audiência assídua do índice publicado pelo ISI devido à necessidade de avaliação dos pesquisadores com parâmetros objetivos, identificando as instituições que melhor correspondam às metas e objetivos por eles definidos. Nesse ponto, retornando ao início do processo, esse interesse dos órgãos financiadores acaba realimentando a necessidade de uso do FI por parte de autores, bibliotecários e editores.

Toda essa história começou em 1955, quando o princípio do FI foi pela primeira vez expresso no clássico artigo de Eugene Garfield, publicado na Science. Sobre as características dos índices de citações, o autor destacou:

Este tipo de obra é particularmente útil para pesquisas históricas, quando tentam avaliar a significância de um trabalho particular e o seu impacto na literatura e no pensamento de um dado período. Deste modo, um ‘fator de impacto’ pode ser mais representativo do que a conta absoluta do número de publicações de um cientista.

Contudo, foi no início da década de 60 que, na prática, o FI foi utilizado como instrumento de avaliação de qualidade das publicações. Garfield e Irving H. Sher (1963) criaram naquele período o Journal Impact Factor, com o objetivo de desenvolver um método de seleção dos periódicos a serem indexados no então recém-publicado Science Citation Index (SCI).

Envolvidos com a tarefa de avaliação de periódicos, Garfield e Sher perceberam a existência de um pequeno, mas importante grupo de periódicos de revisão para os quais, se fosse considerado de forma absoluta o número de citações a eles atribuídas, não seria incluído no SCI. Desse modo, foi verificado que a composição de um índice que leve em consideração o número citações só poderia ser utilizado como critério para a comparação de periódicos de forma normalizada (GARFIELD, 1999).

Assim, o FI de determinado periódico (tabela 1) foi definido como a razão entre o número de citações feitas no corrente ano a itens publicados neste periódico nos últimos dois anos e o número de artigos (itens fonte) publicados nos mesmos dois anos pelo mesmo periódico (Journal Citation Reports, 1998).

Com o passar do tempo, os valores do FI passaram a interessar não apenas àqueles que precisavam selecionar as revistas a serem indexadas no SCI, mas também a uma comunidade mais ampla, como se destacou anteriormente. Nesse instante, o ISI passou a publicar o indicador anualmente, criando, em 1975, o Journal Citation Reports (JCR). Com a difusão do uso do FI, verificou-se que os valores do indicador que caracterizam as várias áreas do conhecimento diferem grandemente (figura 1).

Esse fato tornou evidente que a avaliação de publicações científicas com essa medida só poderia ser feita no âmbito das disciplinas específicas (MACROBERTS, MACROBERTS, 1989) e acabou motivando a realização de inúmeros estudos sobre as possíveis causas dessas diferenças.

Nessas investigações, muitas variáveis foram analisadas como estando relacionadas com o FI: o tamanho dos periódicos (ROUSSEAU; VAN HOOYDONK, 1996; STREHL, 2003), o número de autores por artigo (AMIN; MABE, 2000), a data inicial de publicação dos periódicos (DHAWAN; PHULL; JAIN, 1980), a circulação dos periódicos (PERITZ, 1995), o tamanho das áreas de pesquisa (HUTH, 2001; COLE; COLE, 1973), entre tantas outras. Contudo, é quanto ao efeito do ritmo de obsolescência da literatura e da densidade dos artigos sobre o indicador que os resultados são mais contundentes. Desse modo, as duas seções subseqüentes destinam-se a tratar dessas variáveis, mencionando seus aspectos fundamentais.

O EFEITO DO RITMO DE OBSOLESCÊNCIA DA LITERATURA NAS DIFERENÇAS DE FI DAS ÁREAS DO CONHECIMENTO

Retornando à história do FI, destaca-se que Garfield (1972) fez minuciosa análise da distribuição cronológica dos itens citados em cada edição anual do SCI, de modo a estabelecer a forma como deveria ser calculado o indicador. De acordo com os dados que obteve, um artigo típico é mais freqüentemente citado durante os dois anos subseqüentes à sua publicação. O autor observou que de 21% a 25% das referências correspondem a trabalhos publicados nos três últimos anos, ou são ainda mais recentes.

Fonte: AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

Todavia, essa proporção de citações a referências recentes depende da área em que os trabalhos são publicados. Isso se deve ao fato de que as áreas apresentam taxas diferenciadas de obsolescência. Em outras palavras, pode-se dizer que o tempo de pertinência dos conhecimentos produzidos varia de acordo com o ritmo de atualização de cada um dos diversos ramos do saber, apresentando invariavelmente reflexo na idade das referências citadas nas publicações.

Segundo Sancho (1990), a obsolescência pode ser definida como a diminuição da utilização da informação no decorrer do tempo, podendo ocorrer por alguma das seguintes causas:

b) a informação é válida, mas em um campo científico de interesse decrescente;

Para Line e Sandison (1974), o aspecto central do conceito de obsolescência reside, necessariamente, na relação existente entre uso e tempo. Os autores afirmam que existem duas maneiras de investigar as várias formas de manifestação do tempo sobre o uso da literatura. São elas denominadas: estudos sincrônicos e estudos diacrônicos. Basicamente, pode-se dizer que a abordagem sincrônica consiste na análise da idade das referências citadas (ou dos materiais utilizados em uma biblioteca, por exemplo) em um dado momento. No enfoque diacrônico, tem-se uma configuração diversa, pois um grupo particular de itens é estudado a partir de sucessivas observações realizadas em diversas datas^*.

Como pode ser observado na literatura, os estudos sincrônicos são realizados mais freqüentemente do que os diacrônicos, pois são mais fáceis de conduzir. Na verdade, os estudos diacrônicos emergiram apenas na década de 60 com a publicação do SCI, tendo em vista a impossibilidade do acompanhamento das citações feitas na literatura sem o auxílio deste tipo de índice (STINSON; LANCASTER, 1987).

Além do SCI, o ISI criou outros instrumentos importantes para a medida do ritmo de obsolescência de modo diacrônico, quando passou a publicar no JCR dois indicadores que representam^* duas características importantes da literatura relacionadas com esse fenômeno. São elas:

a) a velocidade com que os novos conhecimentos são incorporados à literatura, medida pelo ISI por meio do índice de citação imediata;

b) o ritmo de envelhecimento da literatura, representado a meia-vida das citações (MV).

O índice de citação imediata corresponde ao número de vezes que um artigo corrente^** de um periódico específico é citado durante o ano em que foi publicado (tabela 2). Esse índice representa a rapidez com que um trabalho é citado, sendo que, quanto menor o tempo transcorrido da publicação de um documento e sua citação em outros, maior será o seu valor.

Exemplo de cálculo do índice de citação imediata (ICI): periódico Nature 1998

Fonte:Journal Citation Reports (1998, p. 15)

Como se pode perceber com os dados das tabelas 1 e 2, os períodos considerados pelo ISI para contar as citações feitas aos artigos para o cálculo do FI e do ICI são bastante próximos. Como o próprio Garfield (2000) esclarece, isso ocorre porque não só o ICI, mas também o FI colocam em destaque os títulos que publicam pesquisas correntes, de fronteira. Ao analisar a relação entre os valores de FI e de ICI, Tomer (1986) constatou que periódicos que apresentam altos ICI tendem a ter também valores altos de FI. Da amostra analisada, 80% dos periódicos comprovaram esta correlação.

O principal aspecto da obsolescência da literatura é a meia-vida das citações. O termo “meia-vida das citações” teve origem no conceito físico de meia-vida dos materiais radioativos. O conceito foi transposto para a área de ciência da informação pela primeira vez por Burton e Kleber em 1960, para expressar o período em que uma pesquisa alcança a metade de sua vida útil. Em 1970, Brookes idealizou um método de medida da meia-vida dos periódicos científicos, que foi logo em seguida adotado sem qualquer ajuste pelo ISI da seguinte forma: “a MV é o tempo (em anos) para que 50% das citações recebidas por um periódico apareçam na literatura (JCR, 1998) (tabela 3)”.

^* Dada a influência do aumento natural da literatura com o passar do tempo, existe uma tendência a considerar que os resultados obtidos com métodos diacrônicos sejam mais corretos do que os alcançados com o uso de abordagens sincrônicas. Entretanto, comparando os resultados obtidos em investigações realizadas com os dois métodos, Stinson e Lancaster (1987) observaram que as medidas de obsolescência obtidas com estudos sincrônicos são tão precisas quanto as alcançadas com abordagens diacrônicas.

** Para o JCR artigos correntes são aqueles publicados no ano de cobertura do JCR.

Além de medir a obsolescência, ameia-vida é concebida como um indicador da influência dos periódicos, mesmo que menos difundido do que o FI. Como representativa de impacto, a MV se estabelece tendo em vista que

Fazendo-se essas considerações sobre estes dois indicadores diacrônicos do ISI, dá-se seguimento ao tratamento das questões relacionadas com o estudo da obsolescência, mas considerando agora resultados obtidos com métodos sincrônicos. Para ilustrar essa abordagem, citam-se a seguir alguns dados (HAMILTON, 1991)^* sobre a idade das publicações referenciadas nas diversas áreas do conhecimento (figura 2).

Proporção de artigos indexados** pelo ISI e não citados nos primeiros cinco anos após sua publicação, por área

Fonte: HAMILTON, David. Research papers: who’s uncited now. Science, Washington, v. 251, n. 25, p. 25, jan. 1991.

^* Esses dados provocaram uma série de debates sobre o significado dos altos percentuais de artigos publicados e nunca citados (HAMILTON, 1990; SCIENCE, CITATION, AND FUNDING, 1991). Entre as discussões, verifica-se como sendo o principal motivo de preocupação o estabelecimento de sistemas de promoção acadêmica pautados no número de trabalhos produzidos por pesquisador. Segundo alguns analistas, esse tipo de sistema encoraja a divulgação de resultados de pesquisa de forma fragmentada, colocando em risco a qualidade das publicações. Detalhes sobre a contenda podem ser lidos nas referências de Hamilton (1990) e nas cartas ao editor agrupadas sob o título Science, citation, and Funding (1991).

^** Nessas estatísticas estão todos os tipos de artigos publicados em periódicos indexados pelo ISI, inclusive a chamada marginalia (os resumos de trabalhos apresentados em eventos, os editoriais, os obituários, as cartas aos editores etc.), que por sua natureza apresenta grande probabilidade de nunca ser citada. A marginalia não é considerada como artigo fonte para o cálculo do FI, do II e da MV. Deste modo, as informações veiculadas por Hamilton não podem ser analisadas de forma absoluta, mas servem como um parâmetro geral.

Na definição da forma sincrônica de medir a obsolescência, tem-se que, quanto maior o número de referências recentes citadas nos artigos de um dado periódico, maior é o ritmo de obsolescência das informações por ele veiculadas e vice-versa.

Utilizando-se essa abordagem, fica ainda mais evidente a relação existente entre obsolescência e FI. Se o cálculo do indicador é feito com base nos dados das citações feitas aos artigos nos três primeiros anos após a publicação, as áreas como as ciências sociais e humanidades e os setores da ciência aplicada, como as engenharias e a computação, que apresentam altíssima proporção de trabalhos que não são citados nos cincos primeiros anos após sua publicação (figura 2), terão conseqüentemente impacto muito menor (figura 1) do que as publicações das disciplinas de ciências biológicas e física, que geralmente são citadas assim que publicadas.

Quando informações de igual natureza são analisadas, autores ocupam o primeiro lugar do ranking de FI de suas mas focalizando subáreas de uma única grande disciplina, subáreas (virologia e telecomunicações). vêem-se novamente as mesmas diferenças, mesmo que em menor proporção. É o caso, por exemplo, de duas subáreas Espera-se mostrar, com essa descrição, que existe grande da física: a física atômica, molecular e química e a física dificuldade para utilização do FI para avaliar publicações da matéria condensada (STREHL, 2003; HAMILTON, de ramos distintos do conhecimento. Entretanto, o 1991). Nessa comparação, observa-se que, dos artigos dimensionamento dessas dificuldades não pára por aqui. que tratam sobre o primeiro assunto, apenas 9 % não são citados nos cinco primeiros anos após sua publicação, e seu impacto médio é de 1,7. No caso da física da matéria condensada, têm-se valores proporcionalmente muito inferior para estas duas variáveis: o índice de não citação corresponde a 19% e o FI a 1,3^*.

Aplicando-se essa análise de maneira a verificar a influência das diferenças de nível de obsolescência nos valores de FI de títulos específicos de periódicos, obtêm-se resultados ainda mais esclarecedores, como mostra a figura 3.

Esses dados apresentados por Gómez e Bordons (1996, p. 25) mostram que o cálculo do impacto tendo como referência os dois últimos anos após a publicação de um artigo contempla 28% das citações feitas ao Journal of Virology e somente 8% das citações atribuídas aoIEEE Transactions on Communications. Desse modo, observa-se que o FI do primeiro título é 6,4 vezes superior ao segundo. Se fosse considerado um período de cinco anos para a realização do cálculo, a diferença de valores de FI cairia para 3,7. Cabe salientar que os títulos selecionados pelos autores ocupam o primeiro lugar do ranking de FI de suas subáreas (virologia e telecomunicações).

Espera-se mostrar, com essa descrição, que existe grande dificuldade para utilização do FI para avaliar publicações de ramos distintos do conhecimento. Entretanto, o dimensionamento dessas dificuldades não pára por aqui. Além da obsolescência, Garfield (1997; 1999) aponta ainda a densidade como uma variável fortemente correlacionada com os valores de FI, como mostra a seção seguinte.

Distribuição anual das citações feitas aos artigos publicados em periódicos de disciplinas científicas distintas

Fonte: GÓMEZ CARIDAD; Isabel, BORDONS CANGAS, María. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. IN: POLITICA Cientifica. Madrid: Comission Internacional de Ciencia Y Tecnología, 1996. v. 46, p. 26.

^* Estes dados consideram apenas os periódicos que publicam resultados completos de pesquisa, excluindo os periódicos de revisão e as comunicações rápidas.

A densidade de uma publicação é definida como o número médio de referências citadas nos artigos de um dado periódico (GARFIELD, 1999). Já em 1965, a incidência de referências em publicações seriadas foi exaustivamente analisada por Price em seu artigo clássico intitulado Network of Scientific Papers. Nesse estudo, foi verificado que, em média, um artigo contém aproximadamente 15 referências bibliográficas; destas, cerca de 12 são de outras publicações seriadas e três correspondem a citações de informações publicadas em livros, teses, relatórios ou manuscritos.

Em estudo mais detalhado, Narin^*, citado por Macroberts e Macroberts (1989), observou que o número médio de referências citadas por artigos varia de acordo com a área do conhecimento e, o mais importante, que o número de citações feitas aos artigos varia de forma proporcional à densidade. As diferenças entre as disciplinas representadas na figura 1 deste artigo, cujo foco é o FI, foram identicamente obtidas por Narin com os dados de densidade e citações: as áreas de engenharia, tecnologia e matemática caracterizam-se por citar poucas referências por artigo e, em média, por receberem poucas citações, apenas entre cinco e seis. Psicologia e biologia compõem o segundo grupo, apresentando entre 8 e 10 referências e citações por publicação. O grupo seguinte é constituído de astronomia, geologia, física, química e medicina clínica, todas caracterizadas por publicarem artigos com 12 a 15 referências e por receberem em média o mesmo número de citações. Finalmente, tem-se o campo da pesquisa biomédica com número superior de referências e citações: entre 18 e 20 por publicação. Outros dados que confirmam o relacionamento existente entre FI, densidade e obsolescência são obtidos por Moedet alii (1985) e merecem uma leitura aprofundada para os interessados no assunto.

Encaminhado este artigo para suas conclusões, destaca-se que, segundo Garfield (1997), existem muitos mitos sobre o FI. A correlação do indicador com um sem-número de variáveis feita na literatura é, para o autor, nada mais do que especulação. Na realidade, as únicas variáveis realmente assumidas por Garfield como correlacionadas com o impacto do ISI são o número de referências recentes por artigo e a densidade, pois, para ele, elas correspondem à “medida mais precisa do potencial de citação” de cada área. Independentemente dessa convicção do criador do FI, as pesquisas continuam, e a complexidade do significado e das implicações do uso do indicador na avaliação da produção científica são sempre reafirmadas.

A avaliação da atividade científica sempre constituiu tarefa difícil. Em tempos em que os diversos ramos do saber mesclam seus objetos, teorias, métodos e técnicas para produzir novas formas de ver a realidade, o desafio parece inimaginável.

Em contrapartida, os parâmetros quantitativos complementares às avaliações por pares, geralmente deduzidos de dados de produtividade científica, têm sido afetados grandemente pelas modificações trazidas pelas tecnologias da informação. É a era dos arquivos abertos, dos bancos de pré-prints e publicações eletrônicas, modificando os meios pelos quais são divulgados resultados de pesquisa.

Na via oposta desta realidade, está o sonho de muitos administradores da ciência em localizar uma medida simples e objetiva da performance acadêmica (ADAMS, 2002). Entretanto, nos tradicionais centros de produção científica, essa ilusão tem sido substituída pelo investimento constante em investigações sobre indicadores e características das publicações produzidas em contextos específicos. São exemplos de instituições que desenvolvem estes tipos de avaliação a National Science Foundation dos Estados Unidos^*, The Centre for Science and Technology Studies (CWTS^**) e a Hungarian Academy of Sciences^***.

No caso brasileiro, a dificuldade inerente a esse processo avaliativo é acentuada pela falta de políticas científicas nacionais; avaliadores precisam qualificar a produção intelectual a partir de padrões presumidamente absolutos de qualidade acadêmica. Mesmo que eles realmente existam, são difíceis de quantificar em larga escala e não resolvem a questão da prioridade científica.

^* NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Cherry Hill: Computer Horizons, 1976.

O sistema de avaliação científica brasileiro padece pela falta de informação sobre as características das publicações nacionais e pela proliferação de artigos publicados em periódicos que não passam do primeiro fascículo. As áreas que produzem conhecimentos de interesse regional dispõem, em sua maioria, de canais de pouca tradição para divulgar seus resultados de pesquisa. As dificuldades, basicamente de ordem financeira, enfrentadas por editores científicos no Brasil (STUMPF, 1994) são as principais razões para explicar a falta de publicações solidamente estabelecidas.

* http://www.nsf.gov/
** http://www.cwts.nl/scripts/index.pl
*** http://www2.mta.hu/index.html

Em 1998, a implementação da biblioteca virtual SciELO (Scietific Electronic Library Online)^*ampliou as perspectivas das publicações nacionais no que se refere aos vários aspectos envolvidos na realidade editorial, desde a preparação e disseminação até a avaliação de publicações (PACKER, 1998).

Dentro da linha seguida no artigo, destaca-se particularmente que a parte da metodologia SciELO que se dedica à avaliação tem avançado na produção de dados sobre as características de nossas publicações brasileiras. As estatísticas sobre o uso dos periódicos, a categorização das informações feitas aos e nos artigos indexados no SciELO, juntamente com a avaliação de qualidade de publicações feita no Programa Qualis da Capes^**, têm contribuído não apenas para a identificação do conhecimento produzido no Brasil, mas também para a definição de seu impacto nas comunidades científicas.

Todavia, a produção recente de dados sobre as publicações brasileiras e a formulação de indicadores bibliométricos deve ser acompanhada da consciência sobre a capacidade limitada de apreensão da realidade desse tipo de instrumento de avaliação. A necessidade de formação dessa consciência é exemplificada a partir das discussões feitas sobre o FI nas seções anteriores deste artigo, quando se demonstrou a existência de complexa rede de fatores associados à forma como o ISI calcula o impacto dos periódicos.

Considera-se que a demanda pelo aperfeiçoamento do processo avaliativo da atividade de pesquisa decorrente do crescimento e do amadurecimento da ciência brasileira requer não somente o desenvolvimento de critérios rigorosos, mas, ainda, de parâmetros sensíveis às características do conhecimento produzido nas diversas áreas do saber. Caso contrário, as possibilidades de estabelecimento de condições injustas de avaliação ampliam-se e tornam-se obstáculo para o avanço científico nacional.

* A base de dados do SciELO está disponível em: http://www.scielo.br
** http://qualis.capes.gov.br/

AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in publising, Amsterdam, n. 1, p. 1-6, Oct. 2000.

BROOKES, B. C. The growth, utility, and obsolescence of scientific periodical literature. Journal of Documentation, London, v. 23, n. 4, p. 283-294, Dec. 1970.

BURTON, R. E.; KLEBER, R.W. The “half-life” of some scientific and technical literatures. American Documentation, v. 2, n. 1, p. 18-22, Jan. 1960.

COLE, Jonathan; COLE, Stephen. Measuring the quality of scientific research. In: _________. Social stratification in science. Chicago: The University of Chicago Press, c1973. cap. 2, p. 21-36.

DHAWAN, S. M.; PHULL, S. K.; JAIN, S. P. Selection of scientific journal: a model. Journal of Documentation, London, v. 36, n. 1, p. 24-32, Mar. 1980.

GARFIELD, Eugene. Citation analysis as a tool in journal evaluation: journals can be ranked by frequency and impact of citations for science policy studies. Science, Washington, v. 178, n. 4060, p. 471-479, Nov. 1972.

_________. Citation indexes for science: a new dimension in documentation through association of ideas. Science, Washington, v. 122, n. 3159, p. 108-111, July 1955.

_________. Citation indexing: its theory and application in science, technology, and humanities. New York: Wiley & Sons, 1979.

_________. Dispelling a few common myths about journal citation impacts. The Scientist, v. 11, n. 3, p. 11, Feb. 1997. Disponível em:<http://www.the- scientist.com/yr1997/ feb/comm_970203.html>. Acesso em: 27 dez. 2001.

_________. Journal impact factor: a brief review. Canadian Medical Association Journal, v. 161, n. 8, p. 979-980, Oct. 1999. Disponível em: <http://www.cma.ca/cmaj/vol-161/issues-8/0979.htm>. Acesso em: 9 jul. 2001.

_________. Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long term journal impact. Croatian Medical Journal, Lengerich, v. 41, n. 4, p. 368-374, 2000. Disponível em: < http://www.cmj.hr/2000/4104/02.pdf >.
Acesso em: 16 out. 2004.

_________; SHER, I. H. New factors in the evaluation of scientific literature through citation indexing. American Documentation, New York, v. 14, n. 3, p. 195-201, July 1963.

GÓMEZ CARIDAD, Isabel; BORDONS CANGAS, María. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. In: POLITICA Cientifica. Madrid: Comission Internacional de Ciencia Y Tecnología, 1996. v. 46, p. 21-26.

HAMILTON, David. Publishing by – and for? – the numbers. Science, Washington, v. 250, n. 4986, p. 1331-1332, Dec. 1990.

_________. Research papers: who’s uncited now. Science, Washington, v. 251, n. 25, p. 25, Jan. 1991.

HUTH, Edward J. Authors, editors, policy makers and the impact factor. Croatian Medical Journal, Lengerich, v. 42, n. 1, p. 14-17, 2001.

JOURNAL of citation reports. Philadelphia: Institute for Scientific Information, 1998.

LINE, M. B.; SANDISON, A. ‘Obsolescence’ and changes in the use of literature with time. Journal of Documentation, London, v. 30, n. 3, p. 283-350, Sept. 1974.

MACROBERTS, M. H.; MACROBERTS, B. R. Problems of citation analysis: a critical review. Journal of the American Society for Information Science, Washington, v. 40, n. 5, p. 342-349, 1989.

MEADOWS, A. J. A comunicação científica. Brasília: Briquet de Lemos, 1999. viii, 268 p.

MOED, H. F. et al. The applications of bibliometric indicators: important field and time dependent factors to be considered. Scientometrics, Amsterdam, v. 8, n. 3/4, p. 177-203, 1985.

PACKER, Abel Laerte. O SciELO: uma metodologia para publicação eletrônica. Ciência da Informação, Brasília, v. 27, n. 2, p. 109-121, maio/ago. 1998.

PERITZ, Bluma C. On the association between journal circulation and impact factor. Journal of Information Science, v. 21, n. 1, p. 63-67, 1995.

PRICE, Derek J. de Solla. Networks of scientific papers: the pattern of bibliographic references indicates the nature of the scientific research front. Science, Washington, v. 149, n. 3683, p. 510-515, July 1965.

ROUSSEAU, Ronald; VAN HOYDONK, Guido. Journal of production and journal impact factors. Journal of the American Society for Information Science, v. 47, n. 10, p. 775-780, July 1996.

SANCHO, Rosa. Indicadores bibliometricos utilizados en la evaluacion de la ciencia y la tecnologia: revision bibliografica. Revista Española de Documentación Cientifica, v. 13, n. 3/4, p. 842-865, 1990.

[SCIENCE, citation and funding: letters]. Science, Washington, v. 251, n. 5000, p. 1408-1409, Mar. 1991.

STINTON, E. R.; LANCASTER, F. W. Synchronous versus diachronous methods in the measurement of obsolescence by citation studies. Journal of Information Science, v. 13, p. 65-74, 1987.

STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação (Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003. Disponível em: <http://143.54.1.39:4505/ALEPH/J761SA1I7AQ5BPJB51Q21QDX8RMR1UPT9ALA821KUNPB698XTB-02399/file/service-0?P01=000369234&P02=0016&P03=TAG>. Acesso em: 15 nov. 2004.

STUMPF, Ida Regina Chitto. Revistas universitárias : projetos inacabados. 1994. Tese (Doutorado em Comunicação)- Curso de Pós-Graduação em Ciências da Comunicação da Universidade de São Paulo, São Paulo, 1994.

TAGUE-SUTCLIFFE, J. An introduction to infometrics. Information Processing & Management, Oxford, v. 28, n. 1, p. 1-3, 1992.

TODOROV, R.; GLÄNZEL, W. Journal citation measures: a concise review. Journal Information Science, Amsterdam, v. 14, p. 47-56, 1988.

TOMER, Christinger. A statistical assessment of two measures of citation: the impact factor and the immediacy index. Information Processing & Management, Oxford, v. 22, n. 2, p. 251-58, 1986.