Indicadores de desempeño: naturaleza, utilidad y construcción
Edgardo Alberto Stubbs
Licenciado en bibliotecología y documentación. Facultad de Humanidades y Ciencias de la Educación. Auxiliar docente. Cátedra Catalogación II. Departamento de Bibliotecología. Facultad de Humanidades y Ciencias de la Educación. Universidad Nacional de La Plata.
E-mail: estubbs@infovia.com.ar
Resumen
Los indicadores de desempeño han adquirido trascendencia a partir del establecimiento de la filosofía de gestión de calidad total. Constituyen importantes herramientas de gestión que proveen un valor de referencia a partir del cual se pueden realizar mediciones. En el presente trabajo se analizan los distintos puntos de vista existentes en relación a su naturaleza y utilidad. Se discute el carácter objetivo-subjetivo de los indicadores de desempeño y se puntualiza la diferencia con las estadísticas. Se analiza también a este tipo de indicadores como una herramienta útil en el proceso de evaluación y se revisa su metodología de construcción.
Palabras claves
Indicadores de desempeño; Evaluación; Gestión de calidad; Medición del desempeño; Estadísticas bibliotecarias; Naturaleza del desempeño; Bibliotecas.
Performance indicators: nature, usefulness and construction Abstract
Performance indicators has become important since the management philosophy of total quality was established. They are management tools which provide a reference value for carrying out measurements. In this paper different points of view are analyzed in relation to its nature and utility. The objective-subjective character of performance indicators is discussed, and the difference is pointed out according to statistics. This type of indicators is also analyzed as a useful tool in the process of evaluation and its methodology of construction.
Keywords
Performance indicators; Evaluation; Quality management; Performance measurement; Library statistics; Nature of performance; Libraries.
INTRODUCCIÓN
Los indicadores de desempeño han adquirido trascendencia a partir del auge de los sistemas de gestión de calidad total. Son importantes herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado. Son imprescindibles en cualquier evaluación del desempeño que se quieran llevar a cabo
A partir de un análisis en relación a la definición sobre Indicadores de Desempeño (ID) discutiendo su naturaleza a partir de la opinión de distintos autores, que apunta a evitar ambigüedades y a clarificar su interpretación, este trabajo se dirige a la caracterización de los ID, determinando su utilidad como una herramienta importante en la que se apoyan los procesos de evaluación y su construcción.
Se hace mención que el presente trabajo forma parte de una tesina de licenciatura presentada en la Universidad Nacional de La Plata para optar al grado de licenciado en Bibliotecología y Documentación.
DEFINICIÓN
Antes de presentar una definición formal de ID es importante destacar el problema de la interpretación y alcance que distintos autores hacen en relación a la definición del mencionado concepto.
Según Bruusgaard (1995) los ID han sido creados para establecer la comparación de elementos cuantitativos en diferentes combinaciones. La propuesta de los ID es la de analizar los datos para clarificar los resultados y rendimientos de la biblioteca y ver que tan bien la biblioteca está llevando a cabo su desempeño.
Por su parte para McClure (199-?), los ID son herramientas de gestión que se ocupan tanto de las entradas (indicadores en relación a recursos esenciales para proveer un servicio), procesos o actividades (cómo es utilizado un recurso), indicadores de los servicios resultantes del uso de esos recursos y el impacto (el efecto de esas salidas sobre otras variables o factores).
Lakos (1997) diferencia mediciones de las entradas como el personal, materiales y recursos financieros; mediciones de las salidas como los resultados o productos de las operaciones bibliotecarias y mediciones del rendimiento o de impacto, como los efectos de las salidas sobre los usuarios, los usos que hacen los mismos de las salidas o el grado de satisfacción experimentado por los usuarios de algunos de los servicios.
Hasta aquí y de acuerdo con los citados autores los ID sirven a un gran número de propuestas relacionadas con la medición de los recursos, los procesos, los productos y el rendimiento de la biblioteca y constituyen una herramienta importante en el proceso de evaluación, proveyendo información relevante para la toma de decisiones.
Los ID conforman un conjunto de herramientas que apuntan a los aspectos organizacionales del desempeño, que son esenciales para el éxito actual y futuro de la organización.
Sin embargo es frecuente el uso en forma indistinta e intercambiable entre medición del desempeño y evaluación. Según Cotta-Schomberg (1995) sería conveniente conservar la medición del desempeño dentro del ámbito de la descripción diferenciándolo de los juicios de valor que se encuentran dentro del ámbito de la evaluación.
Para algunos autores como McClure y Cotta-Schomberg el proceso de evaluación refleja un juicio de valor por parte del evaluador. Sin embargo si hablamos de una evaluación cuantitativa, utilizando métodos estandarizados e indicadores, no es muy sustentable dicha aseveración, ya que el evaluador se ajusta a una metodología previamente establecida donde no tiene cabida los propios juicios de valor. Como ya se mencionó, Cotta-Schomberg diferencia la evaluación de la medición del desempeño, ubicando a esta última dentro del ámbito de la descripción y a la evaluación como un proceso subjetivo en los que se destacan los juicios de valor del evaluador. Siguiendo con la misma línea argumental, si una de las herramientas que permiten llevar a cabo la evaluación de una determinada actividad es la medición del desempeño, con los indicadores correspondientes y éste es un proceso descriptivo y objetivo, resulta difícil entender que la evaluación resultante sea un proceso subjetivo, a no ser que no se respeten las condiciones y pautas previamente establecidas. En este trabajo se plantea la medición del desempeño como una de las herramientas de gestión para llevar a cabo un proceso de evaluación. En este caso es imposible que el proceso de evaluación sea subjetivo si la herramienta en la que se apoya simplemente describe un determinado proceso para luego compararlo con las metas y objetivos propuestos.
Por otro lado, Cullen (1999) afirma que “las numerosas dimensiones de la medición del desempeño incluye un rango de metodologías y paradigmas. Cada una tiene sus propias perspectivas[...], tienen sus propios principios internos e impone su propio discurso”. Si esto es así, se pueden entender las diferencias expuestas anteriormente. El problema que surge es que la naturaleza de la medición del desempeño variará de acuerdo con la metodología empleada y al paradigma que se sustente.
Se puede concluir que la objetividad del proceso de evaluación del desempeño radica en las herramientas utilizadas para llevar a cabo el mencionado proceso.
Otro de los aspectos que es importante distinguir es la diferencia entre estadísticas* e indicadores. La cuantificación de una actividad por sí sola no brinda información sobre la calidad y el desempeño. Ejemplos de estadísticas son la cantidad de libros prestados, cantidad de visitantes a la biblioteca por año, etc.
Abbott (1994) afirma que “un indicador de desempeño generalmente proviene de la combinación de dos estadísticas que forman una relación”. Por ejemplo el número de libros prestados puede ser dividido por el número de clientes y así se genera una relación.
Para Cotta-Schomberg (1995) “las estadísticas bibliotecarias tradicionales se han concentrado en mediciones básicas de entradas y resultados”.
De acuerdo con Bruusgaard (1995) las estadísticas tradicionales se concentran en la biblioteca en sí misma y la medición del desempeño presta su atención al rendimiento y a los resultados teniendo al cliente en el centro.
* En este caso el término estadística refiere simplemente a los datos obtenidos al cuantificar las distintas actividades bibliotecarias y no a métodos estadísticos como el análisis de distribuciones de frecuencias, teoría de probabilidad y de muestreo, teoría de correlación, etc.
Por su parte IFLA (1998) establece una serie de diferencias entre estadísticas e ID:
• Las estadísticas no aportan datos sobre quiénes no usan la biblioteca, ni por la parte de la colección que no se utiliza o por los volúmenes perdidos en las estanterías
• Las estadísticas se recogen en las áreas donde es fácil tener datos exactos. El desempeño se interesa por datos adicionales que son más difíciles de obtener.
• La medición del desempeño compara datos y los combina entre sí.
• La medición del desempeño añade datos subjetivos a los objetivos especialmente en la opinión de los usuarios.
• La medición del desempeño compara los datos con las metas de la biblioteca.
Este tipo de confusión en los términos se ha dado como una consecuencia natural de los hechos, ya que como afirma Kena (1998) “las bibliotecas tradicionalmente han medido su desempeño utilizando estadísticas como el número de ítemes de una colección, el número de ítemes utilizados por año, el número de usuarios registrados [...] dichas mediciones no mostraban la completa realidad de los hechos”.
A partir del desarrollo de estándares como las pautas de la American Library Association (ALA) en EE. UU., las pautas SCONUL y de la Academic Library en el Reino Unido y a nivel internacional las normas ISO 11620 y las directrices de la IFLA contribuyeron a precisar la terminología.
De acuerdo con las normas ISO 11620 (1998) un indicador es “una expresión numérica, simbólica o verbal usada para caracterizar actividades (eventos, objetos o personas) tanto en términos cuantitativos como cualitativos para evaluar el valor de las actividades caracterizadas y el método asociado.
Asimismo define indicador de desempeño como “una expresión numérica, simbólica o verbal derivada de las estadísticas de la biblioteca y los datos usados para caracterizar el desempeño de una biblioteca”.
Esta última definición es la que se tomará en cuenta para el presente trabajo.
UTILIDAD DE LOS INDICADORES DE DESEMPEÑO
Una biblioteca tiene variadas razones para medir su desempeño; por razones políticas, incluyendo compromisos vinculados con las políticas nacionales de información de un país, responsabilidad ante quienes apoyan política y financieramente el funcionamiento y desarrollo de la biblioteca, para mostrar los resultados de los logros y mejoras obtenidas a los usuarios y a la comunidad en general, como ayuda en la toma de decisiones y como herramienta de gestión. Los ID no son un fin en sí mismos. A veces resulta difícil juzgar si el funcionamiento de una actividad constituye un buen o mal desempeño. Es probable que la comparación de la aplicación de un indicador entre dos o más bibliotecas sea usada en forma más frecuente como una herramienta de diagnóstico.
De acuerdo con Cullen (1998) hay tres factores críticos que influyen en la medición del desempeño en bibliotecas:
a) La medición del desempeño es una actividad política y debe ser vista de esa manera tanto a nivel macro como micro. Esto implica:
• Que la biblioteca o el servicio de información esté alineado con las metas de la organización mayor.
• Demostrar la integración de los servicios de información con las actividades clave de la organización.
• Apoyar la posición de la biblioteca como primer proveedor de servicios y gestor de información.
b) La naturaleza multidimensional de la medición del desempeño. Un servicio de información examinará tanto el desempeño de su entorno como el de sus componentes internos.
c) Recompensas e incentivos: no se verá una medición efectiva del desempeño en bibliotecas hasta que los incentivos no sean los correctos. Pueden ser externos o internos. Los incentivos externos incluyen las recompensas y demandas de los gobiernos, de las entidades regionales, de los auspiciantes y organizaciones mayores para proveer evidencia de que la organización está cumpliendo con las metas y los objetivos fijados. Los incentivos internos incluyen premios al buen desempeño de acuerdo con los objetivos de la organización.
Según Ponjuan Dante (1998) “los ID pueden ser utilizados para medir aspectos como la eficacia de las políticas aplicadas, el funcionamiento en el plano financiero, identificar calidad y volumen de los servicios ofrecidos, comparar el desempeño de una unidad con otra”. Así los ID se vinculan con los objetivos de la organización y constituyen herramientas indispensables para la planificación y evaluación.
Actualmente hay un conjunto de directrices y estándares que miden el desempeño. Algunos se restringen a bibliotecas universitarias y otros a bibliotecas públicas, las Normas ISO 11620 abarcan ambas.
Para Abbott (1994), “los ID intentan medir cómo se ha llevado a cabo la calidad”.
De acuerdo con Ellis y Norton (1996) los estándares de las funciones de la biblioteca en adquisición, procesamiento y servicios necesitan ser monitoreados con mediciones en relación a indicadores para controlar que lo que se dice que se está haciendo realmente se hace.
Es decir que los ID no son una garantía de calidad, ya que el hecho de aplicarlos no nos asegura que se estén haciendo bien las cosas. Tampoco son un fin es sí mismos; son herramientas complementarias de gestión que permiten desarrollar un proceso de evaluación. Por consiguiente deben estar vinculados con el sistema de gestión, teniendo en cuenta sus metas y objetivos.
Al evaluar el desempeño se obtienen mediciones y se realizan análisis que demostrarán si el proceso u operación evaluado es satisfactorio o debe mejorarse.
La utilización de ID en una biblioteca permite monitorear su progreso por intervalos de tiempo, mientras que la comparación con otras bibliotecas, permite medir el desempeño de las operaciones que facilita la toma de decisiones basándose en hechos, mediciones e información antes que en la intuición, y permite comparar los objetivos de la biblioteca con la marcha real del desempeño de la misma.
TIPOS DE INDICADORES DE DESEMPEÑO
De acuerdo con Lancaster (1996) “los modelos bibliotecarios son presentados como un conjunto de procesos: entradas, salidas y rendimientos”. Las entradas son los recursos con los que cuenta el sistema bibliotecario, las salidas son los productos de las operaciones bibliotecarias y el rendimiento es el grado de satisfacción del cliente en relación a esa salida. A partir de la relación entre entradas, salidas y rendimientos se crean distintos tipos de ID.
McClure (199-?) sugiere las siguientes mediciones del desempeño y sus correspondientes indicadores:
1. Extensión: mide la cantidad de un determinado servicio (por ejemplo: número de usuarios o el tipo de usuario de una biblioteca)
2. Efectividad: mide el grado en que los objetivos del servicio son cumplidos.
3. Calidad del servicio: mide qué tan bien se realiza un servicio o actividad.
4. Impacto: mide el resultado de un servicio.
5. Utilidad: mide beneficio de un servicio o actividad (el grado que un determinado servicio resulta de utilidad a un tipo de usuario)
De acuerdo con Druker (1999) el desempeño puede medirse en forma cualitativa o cuantitativa. Estos dos tipos de criterios están entrelazados y ambos deben ser evaluados. La medición cualitativa ofrece información rica y vasta, muchas veces intangible, subjetiva y difícil de aprehender. Las mediciones cuantitativas utilizan procedimientos estandarizados, ofrecen la llamada información dura. Son fundamentales para comprobar si los recursos se utilizan de manera adecuada y orientados a la producción de resultados.
CONSTRUCCIÓN DE INDICADORES DE DESEMPEÑO
Trzesniak (1998) establece una metodología para el desarrollo de indicadores, dividiéndola en tres etapas:
a) Etapa que precede a la obtención de información
– Propuesta de los indicadores que puedan tener directa o indirectamente la respuesta deseada.
– Patronización de la metodología de obtención: esta metodología debe ser estable, bien definida y fácil de reproducir para que pueda ser repetida en circunstancias idénticas y los datos resulten coherentes entre sí.
b) Etapa de obtención de la información
información resultante significa realmente y qué respuesta se obtuvo de hecho
c) Etapa de perfeccionamiento de la relación indicador-información
– Refinamiento: con frecuencia la implementación de la interpretación conlleva algún tipo de refinamiento en una o varias de las etapas anteriores.
– Valores de referencia: consolidado un indicador se pueden identificar en muchas ocasiones valores específicos dotados de significación relevante que pueden convertirse en metas a superar.
Las normas ISO 11620 (1998) establecen los criterios para la creación de ID distinguiendo cinco puntos fundamentales:
1. Contenido de información: el indicador debe ser informativo como herramienta para medir la actividad, para identificar logros y problemas en el desempeño de la biblioteca y que se permita tomar una acción para remediarla. Debe proveer información para tomar decisiones, establecer metas, priorizar actividades y servicios, etc.
2. Confiable: el indicador de desempeño debe ser confiable en el sentido de que produzca el mismo resultado cuando se usa repetidamente bajo las mismas circunstancias.
3. Válido: el indicador debe medir lo que se intenta medir.
4. Apropiado: el indicador debe ser apropiado para la propuesta que se quiere aplicar. Es decir que las unidades, las escalas y las operaciones necesarias para implementar el proceso de medición deben ser compatibles con el procedimiento de la biblioteca.
5. Práctico: el indicador debe ser práctico en el sentido de que use datos disponibles en la biblioteca, con un esfuerzo razonable en cuanto al tiempo de los empleados, el costo y el tiempo y paciencia de los clientes.
Los ID se desarrollan a partir de la definición de los objetivos estratégicos y el resultado obtenido a partir de los indicadores influye en el futuro plan estratégico y en las decisiones a tomar. Es decir, que es un proceso de retroalimentación donde cada uno modifica al otro.
Ellis y Norton (1996) realizan una serie de recomendaciones para la construcción de ID:
Además, según los mismos autores, si se desea hablar de desempeño una actividad debe ser medida en relación a una unidad de control. Las unidades de control más importantes son dinero, tiempo y exactitud.
Finalmente distinguen indicadores en tres categorías: eficiencia, efectividad y costo-efectividad.
Al comparar el desempeño con los objetivos propuestos es común que se produzcan variaciones, por lo cual es muy importante determinar el rango aceptable de esas variaciones.
Si la diferencia entre el desempeño real y el deseado es mayor que el rango aceptable será necesario tomar medidas correctivas. A veces las desviaciones pueden indicar que se deben analizar los objetivos propuestos pudiendo haber sido afectados por el entorno o bien revisar los estándares.
CONCLUSIONES
Se ha discutido en el presente trabajo la naturaleza de la evaluación y medición del desempeño, como también su utilidad y su diseño. Si la evaluación se sustenta en un valor de referencia como lo es un indicador, será necesariamente objetiva. Sin embargo hay distintas, metodologías para llevarla a cabo, no siempre cuantitativas. A partir del analisis expuesto se considera que: 1. La evaluaciones cuantitativas apoyadas en indicadores de desempeño en general están ajenas a subjetividades y supuestos por parte de quien realiza la evaluación. 2. Quien realiza la evaluación debe estar comprometido con el proceso que se lleva a cabo, haciendo una correcta interpretación de los datos obtenidos. De tal forma que el resultado describa en forma objetiva el desempeño del proceso evaluado.
3. La objetividad – subjetividad de la evaluación depende de la metodología empleada y el paradigma que se sustente.
4. Es imposible afirmar en forma categórica que toda evaluación es un proceso subjetivo.
5. Los ID permiten comparar los logros de la biblioteca contra un valor de referencia, produciéndose una variación entre el valor establecido como estándar y el valor medido.
6. Es muy importante para la mejora del desempeño establecer el rango aceptable de variación
7. El rango aceptable de variación debe ser determinado en forma metódica y no basándose en la intuición o subjetividades.
Artigo recebido em 29-10-2003 e aceito para publicação em 24-04-2004.
REFERÊNCIAS
ABBOTT, C. Performance measurement in library and information services. London : ASLIB, 1994.
BRUUSGAARD, J. Performance measurement in public and special libraries: similarities and differences. In: IFLA GENERAL CONFERENCE, 61., 1995. Proceedings... [S. l.], 1995.
COTTA-SCHOMBERG, M. Performance measurement in the context of quality management. In: NORTHUMBRIA CONFERENCE ON PERFORMANCE MEASUREMENT, 1., 1995. Newcastle upon Tyne, Gran Bretaña : University of Northumbria at Newcastle, 19 95. Disponível em: http://thenortheast.com/pm3web/pm3procs.html. Acesso em: 12 jan. 2000.
CULLEN, R. Measure for measure: a post modern critique of performance measurement in libraries and information service. Disponível em: http://educate.lib.chalmers.se/iatul/proceedcoments/ pretpap/cullen.html. Acesso em: 23 abr. 2002.
_______ . Does performance measurement improve organizational effectiveness? A post modern analysis. Performance Measurement and Metrics, v. 1, n. 1, p. 9-30, 1999.
DRUKER, P. F. Manual de autoevaluación de la fundación Druker : guía de trabajo. Buenos Aires : Granica, 1999. 77 p.
ELLIS D.; NORTON B. Implementing BS en ISO 9000 in libraries. London : ASLIB, 1996.
INTERNATIONAL FEDERATION OF LIBRARIES ASSOCIATIONS. Medición de la calidad : directrices internacionales para la medición del rendimiento de las bibliotecas universitarias. Madrid : ANABAD, 1998.
INTERNATIONAL STANDARIZATION ORGANIZATION (Geneve). Information and documentation: library performance indicators. Geneve, 1998. 56 p.
KENA, J. Performance indicators for the electronic library. Disponível em: http://members.ozemail.com.au/~kena/perf.html. Acesso em: 25 jul. 2001.
LAKOS, A. Assesment of library network services: issues and options. Disponível em: http://www.lib.uwaterloo.ca/~aalakos/present/ Olita97/olita97a.html. Acesso em: 12 maio 2001.
LANCASTER, F. W. Indización y resumen : teoría y práctica. Buenos Aires : EB, 1996.
MCCLURE, C. Pe rformance measures and quality standars. Disponível: http://www.library.arizona.edu/library/teams/perf/ measurements.html. Acesso em: 12 jan. 2001.
PONJUAN DANTE, G. Gestión de información en las organizaciones : principios, conceptos y aplicaciones. Santiago de Chile : Cecapi, 1998. 222 p.
TRZESNIAK, P. Indicadores quantitativos: reflexoes que antecedem seu estabelecimento. Ciência da Informação , Brasília, v. 27, n. 2, p. 159-64, 1998.