ANÁLISIS MEDIANTE ENCUESTA EN UN PROCESO DE MEJORA CONTINUA DE LA CALIDAD.
SU APLICACIÓN EN EL CIPAJ DE ZARAGOZA.

Comunicación presentada por Carlos Ares a los IX Encuentros Estatales de Información Juvenil.

CEULAJ, Mollina (Málaga).

Del 20 al 24 de noviembre de 2000.

En octubre de 1998 el CIPAJ (Oficina Municipal de Información Joven de Zaragoza) aborda la elaboración de un "Proyecto de mejora de los servicios que presta el CIPAJ" que, entre otras cosas, le permitirá recabar datos de forma sistemática sobre el volumen de utilización de los servicios prestados por el Centro, así como de la calidad percibida por los usuarios. Este proyecto recibió el Primer Premio del "II Concurso de Ideas de Mejora de los Servicios Municipales", en la modalidad de trabajo en grupo, convocado por el Ayuntamiento de Zaragoza en 1998.

Entre los instrumentos de medida propuestos en el Proyecto figuraba la realización de una encuesta a los usuarios de la propia oficina de información joven, considerado el principal recurso de difusión del CIPAJ.

La encuesta, realizada del 1 de febrero de 1999 al 1 de febrero de 2000, lleva un encabezamiento común al resto de encuestas que se están realizando para medir la calidad percibida por los usuarios de otros servicios del CIPAJ, de forma que permitirá la comparación entre ellas y la definición de los usuarios tipo de cada canal informativo analizado.

La encuesta nos ha permitido, en primer lugar, conocer a los usuarios del CIPAJ, sus hábitos informativos y los temas sobre los que se han interesado. En segundo lugar, hemos analizado el nivel de uso y la calidad percibida por los usuarios al utilizar cada uno de los servicios informativos que se prestan en el centro (información personalizada, tablones informativos, carpetas, hemeroteca, biblioteca, viajeteca, bancoempleo y ordenadores con internet). Con la encuesta hemos analizado, por otra parte, el nivel de satisfacción de los usuarios con otros aspectos del centro como el horario y las instalaciones. Por último, hemos podido medir el conocimiento, uso y valoración que los usuarios del centro tienen de otros recursos de difusión del CIPAJ.

En la última parte de este estudio se incluye un novedoso análisis que nos ha permitido detectar aquellos atributos y servicios que tienen una repercusión importante en la valoración general que cada usuario hace del CIPAJ. 

Equipo de mejora continua del CIPAJ.
 

Equipo del CIPAJ, con la colaboración de Carlos Ares, Javier Pérez y Juan Carlos López de Silanes.

Carlos Ares, sociólogo.

Un procedimiento de mejora continua, parte de la necesidad de conocer con la mayor precisión posible, las características y condiciones que revelan la naturaleza del servicio o prestación que pretendemos mejorar y que adopta, en su forma final, la configuración de una opinión consolidada entre los usuarios, adecuada para ser medida y analizada.

Para ello, se ponen en liza cuantas técnicas permiten cuantificar, con un grado razonable de fiabilidad y economía de esfuerzos, aquellos elementos susceptibles de control para su seguimiento futuro.

En este contexto, desde el CIPAJ de Zaragoza, un equipo interdisciplinar impulsa un conjunto de acciones para favorecer el conocimiento de la calidad percibida por los usuarios, entre las que destacan un conjunto de encuestas como instrumentos altamente especializados en la captación de información que permita comprobar la evolución en los cambios propuestos y la consecución de los objetivos de mejora.

La primera de ellas, por movilización de recursos personales y situación de análisis, es la encuesta a los usuarios del CIPAJ, cuyos principales resultados presentamos aquí.

En su configuración muestral, ha sido diseñada para permitir un grado razonable de significación y suficiente capacidad explicativa, teniendo en cuenta que el universo de estudio, según nuestras estimaciones, se sitúa dentro de los límites de una población "finita" (<100.000) y, por lo tanto, requería de unas condiciones determinadas. En su afijación, la muestra se ha aplicado buscando la representatividad de todos los usuarios y, por lo tanto, se han considerado los momentos en que el centro estaba abierto al público (horario de mañana y tarde). El estudio se ha realizado a lo largo de doce meses para poder captar diferencias según la época del año, ya que parte de nuestras hipótesis se derivan del importante papel jugado por la temporalidad.

En su aplicación el cuestionario era entregado a la primera persona que se disponía a abandonar el centro tras haberlo utilizado, y una vez que el sistema informático avisaba a los informadores, quienes invitaban al usuario a colaborar, dándoles unas indicaciones básicas y agradeciendo su colaboración. Posteriormente, el mismo informador recogía el documento comprobando, de un vistazo, que se habían cumplimentado las variables explicativas: edad, nivel de estudios, situación ocupacional, etc... En aquellos casos, en que por las circunstancias que fuera, no era posible la colaboración del primer usuario que saliera del centro, se pasaba al siguiente usuario dispuesto a salir.

El tratamiento de los datos se ha realizado con el programa SPSS (v.6.0.1) y Excel (parte gráfica).

Esta fase nos ha permitido establecer un patrón con el que poder dirigir nuestro trabajo con más eficacia. Una información veraz sobre las cualidades de las personas que acuden a nuestro centro, debe considerarse el primer paso para garantizar la excelencia en nuestros resultados.

La edad promedio se sitúa en 25 años. Los usuarios se reparten, casi por igual, entre los mayores de 25 años y los menores de esa edad (54/46 por ciento). En ambos sectores existirían dos subsectores preeminentes, configurando un núcleo donde se concentra el principal volumen de usuarios. Los más jóvenes y los más mayores no alcanzan distribuciones del 15%.

Predominan aquellos que han terminado o están terminando sus estudios universitarios. Prácticamente 6 de cada 10 usuarios son universitarios, 3 han cursado estudios de enseñanzas medias (2 en bachillerato y 1 en formación profesional). No llegan a 1 de cada 10 quienes tan sólo han realizado una formación básica.

Por razón de género, la presencia es sobretodo femenina. Acuden al centro 1,29 chicas por cada chico.

La prevalencia en el uso de quienes trabajan sobre los parados y los estudiantes no es nueva, estos resultados ya han sido observados en estudios previos.

La comparación entre la procedencia de la población usuaria y la población joven efectiva, censada en Zaragoza por distritos, revela que el efecto proximidad a la residencia de los usuarios viene a ser ambivalente: por un lado, su significación es mínima en cuanto a una previsible mayor afluencia de jóvenes residentes de los distritos más cercanos a la ubicación del centro (zona Casco Viejo y Centro) y, por otro, resulta relevante la escasa presencia de jóvenes visitantes que residen en barrios de la periferia. Podríamos afirmar que existe una relación inversamente proporcional. En todo caso, parece claro que la cercanía del domicilio al centro no es la única causa que influye en su uso.

Aquí, la propia revista informativa que edita el centro (con 15.000 ejemplares) se muestra como una vía fundamental para el contacto inicial con este Centro; aunque, tomados en su conjunto, predominan los medios basados en la comunicación interpersonal, también llamados sistemas "boca a boca". Han supuesto el principal canal para la mitad de los usuarios. De estos, prevalece la relación entre amigos.

Debemos destacar dos ideas principales: una, que la afluencia de nuevos usuarios será siempre constante, hoy por hoy cifrada en dos de cada 10 visitantes y, otra, que quienes utilizan el recurso terminan convirtiéndose en asiduos; acudiendo, al menos, una vez al mes durante todo el año.
 

El principal resultado es el INDICE DE SATISFACCIÓN GENERAL DEL CIPAJ que hemos medido en 86,26. Un notable alto, para la imagen del servicio y la calidad percibida por los usuarios.

En una primera diferenciación entre la consulta específica a los informadores, por un lado, y los procesos de autoinformación, por otro, hemos elaborado sendos indicadores de satisfacción general (aunque en el caso de la autoinformación se ha propuesto un único referente, los tablones informativos).

Por lo pronto, el dato más significativo es la puntuación de 9 sobre 10 que se ha obtenido en la SATISFACCIÓN GENERAL sobre los INFORMADORES. Dato que contrasta con el 7,8 sobre 10 logrado en la SATISFACCIÓN GENERAL sobre TABLONES que, aunque no es bajo, revela una diferencia significativa con respecto al indicador anterior. Esto vendría a recalcar la imagen fiable que los informadores proyectan sobre el público al que atienden y cómo esa imagen se percibe y valora positivamente, traduciéndose en valores altísimos. Tan llamativo como lo anterior resulta que prácticamente 3 de cada 4 usuarios, han utilizado una y otra posibilidad de información.

Del resto cabe decir que las puntuaciones han sido muy buenas en todos los atributos y que debemos considerar cómo los encuestados destacan, sobre cualquier otro, aquellos aspectos relativos al componente subjetivo de la interrelación que se establece entre ellos y los INFORMADORES, como son: la ACTITUD DE ESCUCHA y la ATENCIÓN PRESTADA al público y el BUEN TRATO DISPENSADO por los profesionales. Como puede apreciarse son puntuaciones ligeramente superiores a las logradas por la vertiente más "objetiva", o al menos, más objetivable del servicio prestado (en términos de satisfacción operativa), que son: UTILIDAD DE LA INFORMACIÓN RECIBIDA y EFICACIA EN LA RESOLUCIÓN DE LA CONSULTA.

En cuanto a los servicios de información que los usuarios pueden encontrar en el CIPAJ, observamos los siguientes resultados.

Se puede comprobar que no existe correlación entre la frecuencia de uso detectada sobre cada una de las prestaciones y la valoración que han recibido. Esto quiere decir que quienes han puntuado un determinado servicio, lo han hecho sin estar influenciados por su popularidad o conocimiento.

Merece una mención aparte, dada su importancia, el sistema de autoinformación basado en los tablones temáticos. Aquí hemos observado la siguiente distribución de frecuencias:

En general, la mayoría de usuarios utiliza esta posibilidad informativa, la media se encuentra en 3 tablones por usuario, y su valoración de satisfacción general, aun siendo alta (78,84), es superada por la valoración realizada por los tablones uno a uno, especialmente por: viajes, actualidad, actividades culturales, cursos y anuncios. El uso de los tablones esta condicionado por la asiduidad con la que se utiliza el centro: los nuevos usuarios y los ocasionales utilizan pocos (1 ó 2) tablones o ninguno, siendo una pequeña minoría quienes usan más de 5 tablones en una sesión. Y, al contrario, los usuarios habituales son grandes consumidores de este recurso (55%) siendo, además, muy pocos quienes no los utilizan o que sólo usan uno o dos.
 

Aquí se considerarán promedios relevantes aquellos que se alejen de forma notoria del valor global que hemos obtenido para las variables a explicar:

No existen grandes diferencias en las valoraciones realizadas según las distintas épocas del año, aunque sí es cierto que, en la mayoría de los atributos de la consulta personalizada, la puntuación de primavera suele ser un poco más baja y la puntuación de verano un poco más alta. Es posible que esta situación tenga que ver con los ritmos de afluencia de público y, consecuentemente, en relación directa con la calidad de la consulta personalizada. La hipótesis a contrastar debería ser que con la mayor o menor afluencia de público (según los datos aportados por el sistema de cuentapersonas) se corresponde un peor o mejor promedio sobre los atributos de la consulta personalizada. Este efecto de temporalidad podría tener mucha relevancia considerando las diferencias que se han detectado en alguna de las valoraciones de servicio: ordenadores para consulta de internet, asesorías, antenas o consultas telefónicas.

2. Horario de atención:

Las diferencias observadas según el horario tampoco son significativas; sin embargo, es curioso que el trato dispensado y la actitud de escucha en los informadores, atributos que tienen mucho que ver con el tiempo que se le dedica a una persona, presentan diferencias de puntuación notables, siendo favorables a aquellos usuarios que acudieron en el horario de tarde y de menor puntuación entre quienes acudían al mediodía. En general, resultan mejor puntuados los atributos de las consultas personalizadas y peor los obtenidos por dos servicios concretos en horario de tarde (hemeroteca y página del CIPAJ en Internet).

En la variable "edad" se ha observado cierta tendencia a puntuar mejor las características de la consulta personalizada atendida por informador conforme aumenta la edad del usuario o, también, en algunos servicios muy concretos. Sin embargo, esa tendencia respecto algunos servicios llega a invertirse (por ejemplo en correo electrónico) y cambia su sentido siendo mejor valorado por los más jóvenes.

En este caso, lo más destacable es que, salvo una excepción, las mujeres puntúan mejor los servicios y prestaciones recibidas por el CIPAJ. En algunos casos, llegan a ser diferencias de casi 10 puntos.

El nivel de estudios que poseen los usuarios del CIPAJ no es determinante en las valoraciones realizadas sobre los distintos aspectos analizados por este estudio. Tal vez se insinúa, de forma no categórica, una cierta tendencia a ser peor puntuados por quienes se encuentran en estudios de Enseñanzas Medias, salvo en el caso de Bancoempleo y Antenas Informativas donde dan las puntuaciones mejores.

La situación ocupacional no permite establecer diferencias significativas entre las puntuaciones dadas a los distintos servicios y prestaciones por las distintas categorías.

Según los hábitos de utilización de los recursos informativos que mantienen los usuarios se han encontrado dos pautas interesantes: por un lado, en la valoración sobre los informadores ya que se perciben unas fuertes puntuaciones entre quienes usan ocasionalmente los servicios del CIPAJ y que disminuyen ligeramente cuando los usuarios son habituales y, por otro lado, en esos mismos usuarios asiduos, que dan mejores valoraciones en algunos servicios que tienen que ver con los procesos de autoinformación. Esto podría interpretarse como parte de un mismo proceso. Un proceso que en la fase inicial, probablemente fijada a una cierto grado de dependencia de los informadores, se caracteriza por unas muy buenas valoraciones y que posteriormente, habituados ya a la calidad en la atención prestada, adquiere unos niveles más sostenidos.

Del repertorio de temas que un joven puede encontrar en nuestro centro hemos comprobado que los ámbitos de EMPLEO, CURSOS y VIAJES son los más solicitados. Tanto como para decir que una de cada dos personas solicita información relacionada con el mundo del empleo o con la formación no reglada.

Sin embargo, en relación a las características de nuestros usuarios y visitantes hemos encontrado ciertas relaciones:

1. Las consultas relacionadas con CURSOS crecen en PRIMAVERA/INVIERNO/OTOÑO y decrecen en VERANO.

2. Las consultas relacionadas con ACTIVIDADES CULTURALES crecen durante el OTOÑO y el INVIERNO y decrecen en PRIMAVERA/VERANO.

3. Las consultas relacionadas con VIAJES crecen en PRIMAVERA/VERANO y descienden en OTOÑO/INVIERNO.

4. Las consultas relacionadas con OPOSICIONES se producen entre quienes tienen entre 20 y 29 años y son nulas en otros grupos de edad.

5. Las consultas relacionadas con EMPLEO alcanzan el 60% para quienes tienen entre 20 y 29 años, mientras que son inferiores al 25% en los menores de 20 años.

6. Los chicos duplican en consultas a las chicas en temas relacionados con el DEPORTE.

7. Ocurre lo mismo en temas de MILI y OBJECIÓN. Si bien la desproporción, como es lógico, aún es mayor. Aunque un 2% de las consultas fueron hechas por chicas.

8. Las consultas relacionadas con BECAS fueron realizadas principalmente por estudiantes universitarios (31% de las consultas). Quienes tienen estudios más bajos apenas consultan sobre este tema.

9. Ocurre lo mismo con las consultas sobre OPOSICIONES. Prácticamente se concentran en exclusiva entre quienes tienen estudios universitarios.

10. En relación al ámbito del EMPLEO es curioso que comparten el mismo nivel de interés quienes tienen el máximo nivel académico y quienes poseen el más bajo. El menor interés ha sido mostrado por quienes están en la Enseñanza Media (Bachilleratos y Formación Profesional).

11. En el ámbito del las ACTIVIDADES DE AIRE LIBRE el mayor volumen de consultas se concentran entre quienes tienen estudios básicos y enseñanzas medias, menor interés han demostrado quienes poseen estudios universitarios.

12. Los parados, fundamentalmente, recaban información sobre OPOSICIONES. Los estudiantes y los trabajadores son quienes menos información demandan sobre este tema.

13. Ocurre lo mismo en el área de EMPLEO.

14. En el tema de VIAJES ocurre lo contrario: trabajadores y estudiantes son quienes más usan esa información y los parados quienes menos.

15. Quienes contactaron con el CIPAJ por primera vez gracias a sus profesores, han utilizado con mayor incidencia el ámbito de VOLUNTARIADO.

16. Quienes contactaron con el CIPAJ por primera vez gracias a las antenas informativas, han utilizado con mayor incidencia el ámbito de VIVIENDA.

17. Aquellos usuarios que acuden una o más veces al mes (usuarios habituales) tratan todos los ámbitos informativos con mayor profusión que quienes vienen esporádicamente.

Uno de los principios básico del proyecto de mejora del CIPAJ era el de aprovechar todas las encuestas para conseguir datos de uso y valoración de todos los servicios del CIPAJ que no se estuviesen midiendo en cada una de ellas. "Ya que preguntamos, preguntemos por todo" era el lema. De esa manera, en la encuesta a usuarios del Centro de Información se les preguntaba si habían utilizado otros recursos de difusión del CIPAJ y, en caso positivo, que hiciesen una valoración. 

Como se aprecia en el cuadro adjunto, aparece en un lugar destacado, en clara situación de privilegio y por encima de todos los demás servicios conocidos, el BOLETIN del CIPAJ (7 de cada 10 usuarios del Centro de Información lo han utilizado), con un grado de aceptación muy alto, ya que supera el notable alto. Todos los demás servicios presentan un nivel de uso inferior al 30%. En cambio, la valoración siempre es superior a los 75 puntos, lo que corrobora un alto grado de conformidad y unanimidad en la valoración que realizan los usuarios.

Al margen de los servicios utilizados, y valorados, nos interesamos por saber si en opinión de nuestros usuarios sería necesario incluir algún nuevo servicio o propuesta. En esto hemos descubierto que uno de cada cinco usuarios echa algo de menos (incrementar la oferta de servicios: adquirir "prensa salmón", ampliar el servicio de reprografía, etc…).
 

Aspectos que influyen de forma significativa en la valoración general que los usuarios hacen del Centro de Formación.

Una de nuestras principales inquietudes era determinar en qué medida influyen cada uno de los aspectos parciales o atributos que configuran una determinada prestación o servicio de información en la valoración general que el usuario hace del Centro de Información. Partimos del supuesto de que una vez identificados los atributos más significativos podremos reconocer qué elementos influyen en la valoración final que realizan los usuarios de la prestación o servicio recibido. Una vez conocida la dimensión de esa relación, podremos definir en qué sentido conviene intervenir para lograr mejoras en la calidad de esos servicios informativos. Para ello, debe realizarse la identificación de esos elementos y, a partir de esa información, explicitar cuáles de ellos influirían realmente en la valoración global de un determinado servicio y, además, en qué medida.

En conjunto, se ha observado cierta significación en los siguientes coeficientes de asociación:

1. La satisfacción percibida por los usuarios en la atención personalizada influye moderadamente sobre la satisfacción general realizada sobre el centro. Cuanto mayor es la satisfacción en la información personalizada recibida de los informadores mejor se valora el centro. Mantener los actuales niveles de satisfacción pasará, necesariamente, por mejorar o, al menos, mantener la actual valoración realizada sobre la labor de los informadores en su relación con el público.

2. Sin embargo, en el principal procedimiento de autoinformación, los tablones informativos, se observa que muestran una menor correlación con la satisfacción general percibida por los usuarios. Esto revela un menor peso específico de este factor sobre la satisfacción general referida a todo el centro. Futuros objetivos de mejora deberían encaminarse hacia la necesidad de lograr una mayor influencia de los procedimientos de autoinformación sobre la satisfacción general percibida por los usuarios.

Hasta aquí hemos visto de qué forma influye la satisfacción percibida en los dos principales servicios informativos sobre la valoración de la satisfacción general, y la observación es concluyente: la satisfacción en los servicios de información personalizada influye más en la satisfacción general percibida sobre el centro que la satisfacción en los servicios de autoinformación.

Sin embargo, en la concreción sobre qué atributos condicionan con mayor fuerza, comprobamos que:

3. Los atributos de la atención personalizada que seleccionados "a priori" son: utilidad de la información recibida, eficacia en la consulta, claridad de la información, trato impartido y atención prestada por los informadores; no parece que influyan en el mismo grado.

1. Aquellos elementos que definen el "componente relacional" del servicio de información personalizada influyen moderadamente.

2. Los aspectos que constituyen el componente "objetivo" del servicio de información influyen sustancialmente.

Por lo tanto, sería relevante el hecho de que a nuestros usuarios parece importarles más en qué términos son informados, que cómo son informados. Aunque valoren muy bien el trato recibido.

4. En cuanto a los servicios de autoinformación, centrados en los tablones informativos, se apreciaron unos bajos niveles de correlación entre los distintos atributos y la satisfacción general percibida sobre los tablones. Se ha comprobado su irrelevancia en la valoración de la satisfacción final que hacen los usuarios. Otro de los elementos importantes en los procesos de autoinformación en el centro, lo constituyen los dossieres que se entregan a los usuarios cuando desean ampliar algún aspecto de la información recibida inicialmente. En este caso, los atributos han mostrado unos bajos niveles de correlación.

5. El análisis de los atributos que configuran los servicios relacionados con la autoinformación en soporte papel: hemeroteca, biblioteca, viajeteca, ha revelado la presencia de influencias desiguales en la satisfacción de los usuarios sobre el centro. Se puede comprobar que la utilidad de la HEMEROTECA muestra una correlación moderada con la satisfacción general sobre el Centro, y el resto de los atributos valorados prácticamente no influyen.

6. Del resto de servicios de autoinformación, los vinculados a las nuevas tecnologías (bancoempleo y consulta en Internet) tienen una baja influencia en la satisfacción general. Sólo tiene un margen de influencia razonable la utilidad de BANCOEMPLEO.

7. En cuanto a los demás servicios o proyectos asociados al CIPAJ: el Boletín del CIPAJ, las Antenas Informativas, la página en Internet, la información vía correo electrónico o la consulta telefónica, como era de esperar, no influyen en la satisfacción que los usuarios del CIPAJ perciben del centro. Sin embargo, se ha comprobado que la valoración de las ASESORÍAS sí se asocia moderadamente a la satisfacción general percibida.

8. Por último, en cuanto a los aspectos más importantes para valorar la comodidad física de los usuarios, el horario de apertura y ciertas condiciones de las instalaciones, se deduce que, cualquiera de los atributos relacionados con el horario muestra una significación muy baja respecto a la valoración global que se realiza sobre el centro. Algo que no ocurre con los atributos que configuran las instalaciones donde aparecen niveles de correlación moderada en el caso de la señalética (cartelería interior orientada a facilitar el uso del centro) y baja en el resto.

Zaragoza, octubre de 2000