Ésta es la cuarta edición del Índice de Transparencia Presupuestaria. La metodología fue diseñada en el año 2000 y en esta ocasión (2007), utilizamos el mismo diseño que se aplica desde 2003. Por tanto, los resultados se pueden comparar a través del tiempo.

 La metodología tiene tres componentes:

 1. Encuesta de percepciones

La encuesta mide las percepciones sobre la transparencia presupuestaria, es decir, mide la
opinión de los expertos sobre el entorno en el que se realiza el presupuesto público de cada país involucrado.

 Población Objetivo

Dado que los temas del presupuesto y la transparencia de sus prácticas son poco conocidos, se definió como población objetivo a “los expertos en cuestiones presupuestarias y usuarios de la información presupuestaria”. Se definieron en particular cuatro grupos de expertos. Estos grupos o sub-poblaciones son pequeños en todos los países y no existe un listado único para identificarlas. Por ello, la primera etapa de este proyecto consistió en la elaboración de un listado de expertos por país con base en criterios comunes de selección.

Los grupos de expertos y los criterios para elaborar su censo fueron:

• Legisladores: Se escogieron los y las representantes populares que participan en la comisión de presupuesto (diputados y/o senadores). *
• Medios de comunicación:Se seleccionaron a los periodistas que escriben sobre presupuesto en periódicos yrevistas de cobertura nacional.
• Académicos o Investigadores: Los y las expertas que estudian el tema y/o han publicado sobre presupuesto. Se buscaron a partir de los censos de institutos de investigacióny/o educación superior.
  
• Organizaciones de la Sociedad Civil (OSC): Las OSC que trabajan sobre temas de presupuesto, rendición de cuentas, transparencia, corrupción y monitoreo de recursos gubernamentales. Los directorios se construyeron a partir de las declaraciones en prensa sobre el presupuesto, o con base en directorios de OSC existentes en los países.

Estos listados fueron elaborados y actualizados por las organizaciones de cada país. Se establecieron procedimientos (criterios de elaboración y fuentes de información) que permitieron lograr uniformidad entre los países participantes y que, al ser los mismos utilizados desde 2003, permitieron dar continuidad a este estudio.

Además, para asegurar uniformidad en este proceso, la elaboración de los listados fue revisada centralmente por el equipo de Fundar.

A partir de los listados se determinó el tamaño de la población de cada país, información que
aparece en la siguiente tabla. Como se observa, las poblaciones de expertos oscilan entre 50 y 99. El total de expertos para los ocho países es de 844.

A partir de estos listados, se determinó los tamaños de población que aparecen en la siguiente tabla. Como se observa, las poblaciones definidas de expertos oscilan entre 50 y 160 personas por país. El total de expertos para los diez países es de casi 1,000 personas.

Metodología de la Encuesta

Diseño muestral: El tamaño de la población es pequeño, por lo que se buscó hacer un censo y no una encuesta. La cobertura de los censos varió por país:

El trabajo de levantamiento de encuestas fue realizado por las organizaciones de cada país
y se realizó entre abril y septiembre de 2007. Para obtener respuestas a la encuesta de percepciones, se utilizaron simultáneamente varios métodos de recolección de datos (encuesta multi-modal): entrevista auto-administrada vía fax o correo, entrevista telefónica y cara a cara a través de un entrevistador. La mayor parte de las respuestas se obtuvieron por métodos auto-administrados.

Normalmente, la calidad de los datos de los censos se mide con un indicador: la cobertura de la población. Sin embargo, la medición de cobertura no permite hacer comparaciones de  calidad entre poblaciones de países diferentes como en el caso de esta encuesta donde participan nueve países. Por ello, hemos incluido sólo como indicadores comparativos las medidas de dispersión en la calificación general de cada país en la tabla 3.

Cuestionario2: Para realizar la encuesta Transparencia Presupuestaria en América Latina 2007 se utilizó el mismo cuestionario que aplicamos en 2005 y 2003, con algunas adiciones.

El cuestionario contiene al menos 78 preguntas que se repiten en todos los países, y se agrupan en tres categorías:

1. Calificaciones sobre la transparencia del presupuesto en diferentes niveles: una calificación de las condiciones de la transparencia en el presupuesto en general y calificaciones de los procesos o temas específicos de formulación, aprobación, ejecución, fiscalización,participación ciudadana y acceso a la información. Estas calificaciones se midieron enuna escala de 1 a 100.
2. Calificaciones sobre la importancia de cada una de las etapas del presupuesto o temas relacionados (formulación, aprobación, ejecución, fiscalización, participación ciudadana y de acceso a la información).
3. Preguntas específicas sobre la transparencia en el presupuesto. Estas preguntas se construyeron como escalas Likert en un rango de 1 a 5, para medir acuerdo y nivel de acuerdo al mismo tiempo. Se trata de preguntas muy específicas que demandan conocimiento sobre el proceso presupuestario.

Ponderación: Para mantener la estructura de la población que responde igual entre países y a través del tiempo, se ponderaron las respuestas de forma que el grupo de legisladores represente 10% del total de las respuestas de todos los países.

Manejo de la respuesta “No Sabe”: Dado que la respuesta del cuestionario demanda mucho conocimiento y que la respuesta de “no sabe” por sí sola es informativa (indica desconocimiento de cierto tema entre los expertos), se hicieron dos manejos especiales de la categoría: uno fue en las instrucciones al entrevistado donde se hizo énfasis constantemente en la opción de respuesta “no sabe”. De hecho, en el diseño del cuestionario la categoría “no sabe” siempre apareció como la primera opción de respuesta. El otro fue el manejo de la categoría en los reportes de resultados. En este caso, “el no sabe” se toma como una categoría de respuesta válida, a diferencia de la no respuesta.

Construcción de Variables: Las variables son grupos de preguntas que indagan en aspectos  articulares de la transparencia. Se construyeron 14 variables a partir de 49 preguntas específicas. Las variables y el número de preguntas que las integran se detallan a continuación**:

Resultados reportados: Calificaciones (1 a 100): Los resultados se reportan con dos unidades o escalas. Por un lado, el índice y las calificaciones por etapa o proceso son los promedios obtenidos en la encuesta de expertos usando una escala de 1 a 100.

Resultados reportados. Porcentaje de respuestas positivas: Por otro lado, se reporta el porcentaje de respuestas positivas o de acuerdo para variables y preguntas específicas.

Este porcentaje es la suma de respuestas de acuerdo total y acuerdo (valores 4 y 5) entre el total de respuestas válidas en la siguiente escala:

Los resultados o respuestas positivas de variables son la suma de todas las respuestas positivas de las preguntas que corresponden a una variable dividida entre el total de las respuestas obtenidas para las preguntas que corresponden a esa variable. Por ejemplo:

La variable Fiscalización del presupuesto = Suma de 5 preguntas ( i=5 )

2. Estudio formal/práctico

Con el propósito de contextualizar los resultados provistos por la encuesta de percepciones y emitir recomendaciones fundamentadas, se incluyó como parte de la metodología un estudio exhaustivo que evalúa el contexto formal y las condiciones reales que circunscriben el proceso presupuestario en cada país.

El estudio se basa en una guía, desarrollada sobre la base de las mejores prácticas y estándares a nivel internacional, y constituye una evaluación experta del cumplimiento con los estándares y de los principales obstáculos a la transparencia en el proceso presupuestario.

La guía fue contestada por un experto en cada país y tiene las siguientes características:

1. Presenta las herramientas necesarias para conocer las condiciones institucionales, normativas y prácticas del proceso presupuestario de los países.
2. Permite identificar a los principales actores del proceso presupuestario y conocer su papel formal en el mismo.
3. Finalmente, presenta un marco sistemático de estudio que identifica los trazos determinantes (variables independientes) del proceso presupuestario, con lo que se facilita la comparación internacional.

3. Guía de vinculación

La encuesta de percepciones y el cuestionario práctico fueron vinculados a través de una guía. Esta guía siguió el orden de las preguntas de la encuesta y tiene el objetivo de explicar sus resultados contextualizándolos en la práctica presupuestaria. De esta manera, la guía de vinculación relaciona las preguntas contenidas en la encuesta de percepciones con las preguntas que conforman el estudio formal/práctico.

* Para el caso de Costa Rica, se consultó también a funcionarios de la Contraloría General de la República, ya que este organismo, junto con el congreso, esta involucrado en la aprobación del presupuesto de ese país.

** El listado completo de variables, atributos y el porcentaje de las respuestas positivas para cada uno de los países está disponible en versión electrónica, en el anexo III.