La metodología para construir el Índice de Transparencia Presupuestaria fue diseñada durante el año 2000 y aplicada en 2001 en cinco países Latinoamericanos: Argentina, Brasil, Chile, México y Perú. Para la segunda edición del Índice se utilizó la misma metodología con algunas modificaciones, aplicándola en un total de diez países. Los cinco países adicionales son: Colombia, Costa Rica, Ecuador, El Salvador y Nicaragua.

Esta metodología consta de tres partes:

1. Encuesta de percepciones

La encuesta mide las percepciones sobre la transparencia presupuestaria, es decir, mide las percepciones de los expertos sobre el entorno en el cual se realiza la toma de decisiones, la participación y la incidencia en la asignación de los recursos públicos.

Población:

Dado que los temas del presupuesto y la transparencia de sus prácticas son poco conocidos, se definió como población objetivo a “los expertos en cuestiones presupuestarias y usuarios de la información presupuestaria”. La definición de los criterios para seleccionar a la población objetivo asegura la capacidad de replicar las muestras con criterios homogéneos en todos los países.

Se definieron en particular, cuatro grupos de expertos. Estas sub-poblaciones son pequeñas en todos los países y no existe un listado único para identificarlas. Por ello, la primera etapa de este proyecto consistió en la elaboración de un listado de expertos por país con base en criterios comunes de selección. Los grupos y sus criterios fueron:

• Legisladores: Se escogieron los representantes populares que participan en la comisión de presupuesto (diputados y/o senadores).*
• Medios de comunicación: Se seleccionaron los periódicos y revistas de cobertura nacional; en cada medio se seleccionó a los periodistas que escriben sobre presupuesto.
• Académicos o Investigadores: Los expertos que estudian el tema y/o han publicado sobre presupuesto. Se buscaron a partir de los censos de institutos de investigación y/o educación superior.
• Organizaciones de la Sociedad Civil (OSC): Las OSC que trabajan sobre temas de presupuesto, rendición de cuentas, transparencia, corrupción y monitoreo de recursos gubernamentales. Los directorios se construyeron sistemáticamente a partir de las declaraciones en prensa sobre el presupuesto, o, en los países en que existieran, con base en directorios de OSC.

Estos listados fueron elaborados por las organizaciones de cada país. Se establecieron procedimientos** (criterios de elaboración y fuentes de información) que permitieron lograr uniformidad entre los países. La elaboración de los listados fue supervisada centralmente para asegurar la uniformidad en los listados. A partir de estos listados se determinaron los tamaños de población que aparecen en la siguiente tabla. Como se observa, las poblaciones definidas de expertos oscilan entre 50 y 160 personas por país. El total de expertos para los diez países es de casi 1,000 personas.

Metodología de la Encuesta

Diseño muestral: El tamaño de la población es pequeño, por lo que se buscó hacer un censo y no una encuesta. La cobertura de los censos varió por país:

Se utilizaron simultáneamente varios métodos de recolección de datos (encuesta multi-modal): entrevista auto-administrada vía servidor de Internet, correo electrónico, fax o correo, entrevista telefónica y entrevista cara a cara a través de un entrevistador. La mayor parte de las respuestas se obtuvieron por métodos auto-administrados.

Originalmente se invitó a toda la población a participar en la encuesta a través de correos electrónicos que incluían un link con acceso automático a la encuesta de cada país. Después se comenzó a llamar telefónicamente a la población para lograr su respuesta por el medio preferido de cada persona.

El trabajo de campo se realizó entre el 2 de mayo y el 17 de septiembre de 2003. El trabajo de campo tuvo dos componentes: uno central que fueron las invitaciones por correo electrónico y la administración de la base de respuestas (se realizó en México) y uno local que fue el contacto con los entrevistados y la búsqueda de la respuesta (se realizó en cada país).

Normalmente la calidad de los datos de los censos se mide con un indicador: la cobertura de la población. Sin embargo, la medición de cobertura no permite hacer comparaciones de la calidad de datos entre países en un caso como el del Índice de Transparencia Presupuestaria, donde participan 10 países. Por ello, hemos incluido como indicadores de la calidad de los datos la medición de la dispersión en la calificación general de cada país en la tabla 3.

Cuestionario: Para realizar la encuesta Transparencia Presupuestaria en América Latina, 2003 se utilizó como base el cuestionario aplicado en 2001, con algunas variantes. El cuestionario contiene 70 preguntas que se repiten en todos los países, y se agrupan en tres categorías:

1. Calificaciones sobre la transparencia del presupuesto en diferentes niveles: una calificación de las condiciones de la transparencia en el presupuesto en general y calificaciones de los procesos o temas específicos de formulación, aprobación, ejecución, fiscalización, participación ciudadana y acceso a la información. Estas calificaciones se midieron en una escala de 1 a 100.
2. Calificaciones sobre la importancia de cada una de las etapas del presupuesto o temas relacionados (formulación, aprobación, ejecución, fiscalización, participación ciudadana y de acceso a la información).
3. Preguntas específicas sobre la transparencia en el presupuesto. Estas preguntas se construyeron como escalas Likert en un rango de 1 a 5, para medir acuerdo y nivel de acuerdo al mismo tiempo. Se trata de preguntas muy específicas que demandan conocimiento sobre el proceso presupuestario.

Ponderación: En 2001, la encuesta de percepciones en torno a la transparencia incluyó poblaciones mayores de legisladores para todos los países, porque se incorporó a tres comisiones parlamentarias en lugar de una. El análisis de resultados mostró que las respuestas del legislativo tienden a ser más positivas que las respuestas del resto de la población de expertos, particularmente con respecto a ciertas etapas del presupuesto. Además, el tamaño de las poblaciones de legisladores varía mucho por país y su proporción en las respuestas de cada país va desde el 4 hasta el 35 por ciento. Para evitar un “sesgo legislativo” de diferentes proporciones entre países se ponderaron las respuestas, de tal forma que las repuestas de los legisladores equivalieran al 10 por ciento del total de las respuestas en todos los países.

Manejo de la respuesta “No Sabe”

Dado que la respuesta del cuestionario demanda mucho conocimiento y que la respuesta de “no sabe” por sí sola es informativa (indica desconocimiento de cierto tema entre los expertos), se hicieron dos manejos especiales de la categoría: uno fue en las instrucciones al entrevistado, donde se hizo énfasis constantemente en la opción de respuesta “no sabe”. De hecho, en el diseño del cuestionario la categoría “no sabe” siempre apareció como la primera opción de respuesta. El otro fue el manejo de la categoría en los reportes de resultados. En este caso, el “no sabe” se toma como una categoría de respuesta válida, a diferencia de la no respuesta

Construcción de Variables: Las variables son grupos de preguntas que indagan en aspectos particulares de la transparencia. Se construyeron 14 variables a partir de 49 preguntas específicas. Las variables y el número de preguntas que las integran se detallan a continuación:

Resultados reportados: Calificaciones (1 a 100)

Los resultados se reportan con dos unidades o escalas. Por un lado, el índice y las calificaciones por etapa o proceso son los promedios obtenidos en la encuesta de expertos usando una escala de 1 a 100.

Resultados reportados: Porcentaje de respuestas positivas

Por otro lado, se reporta el porcentaje de respuestas positivas o de acuerdo para variables y preguntas específicas. Este porcentaje es la suma de respuesta de acuerdo total y acuerdo (valores 4 y 5) entre el total de respuestas válidas en la siguiente escala:



Los resultados o respuestas positivas de variables son la suma de todas las respuestas positivas de las preguntas que corresponden a una variable, dividida entre el total de las respuestas obtenidas para las preguntas que corresponden a esa variable. Por ejemplo:

La variable Fiscalización del presupuesto = Suma de 5 preguntas ( i=5 )

* Para el caso de Costa Rica, se consultó a la Comisión de Aprobación del Presupuesto que funcionaba anteriormente a la publicación del Índice.

** Los procedimientos de los diez países están disponibles en versión electrónica, en http://www.internationalbudget.org/themes/BudTrans/LA03.htm.