Acerca de OVE

La Oficina de Evaluación y Supervisión (OVE) se creó a mediados de 1999 como resultado del rediseño de la función de evaluación del Banco luego de treinta años de historia. A partir de ese momento OVE se convirtió en una entidad independiente de la Administración del Banco, reportando directa y exclusivamente a la Junta de Directores Ejecutivos. Como parte de dicho rediseño, OVE, por mandato del Directorio, se convirtió en la unidad encargada de ejecutar Evaluaciones de Programa de País (CPE), evaluaciones de políticas, estrategias, temáticas y de instrumentos. Además, es la unidad responsable de monitorear la supervisión interna del Banco, el sistema de evaluación y los procesos e instrumentos. Por otra parte, OVE conduce evaluaciones de supervisión de la estrategia corporativa, procesos e instrumentos y proporcionar orientación normativa en temas de evaluación. Por último, pero no menos importante, contribuye a la capacitación de evaluación en la región. A su vez, en el 2003 OVE comenzó a realizar evaluaciones ex-post.

• Independencia/Autonomía
• Política de Confidencialidad
• Principios rectores
• Áreas prioritarias de trabajo
• Política y Evaluación de Instrumentos
• Evaluaciones sectoriales y temáticas
• Evaluaciones Expost de Proyectos
• Supervisión de Sistemas y Procesos del Banco
• Evaluación del desarrollo de capacidad
• Participación en la Evaluación de la Comunidad de Desarrollo de Prácticas
• Ejercicio de Evaluabilidad

 

Independencia/Autonomía:

OVE es independiente de la Administración del Banco. Tiene autonomía organizacional y de comportamiento. Además es libre de presiones externas y conflictos de interés de acuerdo a los criterios establecidos por el Grupo de Cooperación de los Bancos Multilaterales de Desarrollo (ECG), del cual el BID es miembro fundador. Los análisis, hallazgos y conclusiones de OVE están libres de la influencia de la Administración en todas las etapas del proceso, incluyendo la planificación de los programas de trabajo y el presupuesto, la formulación de términos de referencia, el personal de los equipos de evaluación, la ejecución de las evaluaciones y la aprobación de los informes.

Política de Confidencialidad:

El Banco implementó una nueva Política de Acceso a Información en enero del 2011. El principio general es que la información esté a disposición del público en general, salvo la información que esté en la lista de excepciones mencionadas en dicha política. Como resultado, todos los documentos de OVE se ponen a la disposición del público en cuanto el Directorio Ejecutivo concluye la revisión de los mismos. Sin embargo, se aplican restricciones, si alguno de los países miembros prestatarios se opone a la divulgación de una Evaluación de Programa de País (CPE), en dicho caso sólo se hará público un resumen de la evaluación. La información considerada confidencial y sensible se omitirá y se hará una acotación de qué secciones fueron omitidas. Además, comentarios suministrados por el país en cuestión o por la Administración del Banco, de haber alguno, se pondrán a la disposición del público si la evaluación mencionada está disponible.

Principios rectores:

La Junta de Gobernadores y la Junta de Directores Ejecutivos del BID buscan asegurar que la evaluación forme parte importante de los procesos de toma de decisiones, además de proveer los medios para medir la efectividad del Banco para asegurar su rendición de cuentas. Se ha estipulado que la evaluación es "una herramienta para el aprendizaje institucional y para la evaluación sistemática de la efectividad de las políticas de desarrollo del Banco, los resultados de las actividades financiadas por el Banco, y los procesos relacionados." [1] Esta doble función de la evaluación, que por una parte refleja las lecciones que deben extraerse y por otra asesora la rendición de cuentas, es la base de los cuatro principios fundamentales que orientan el trabajo de OVE:

• La evaluación es una herramienta, no un fin en sí mismo. Al igual que otras herramientas, constantemente debe ser reevaluada para ser mejorada;
• La evaluación se centra en el aprendizaje institucional. Las lecciones aprendidas de los proyectos de evaluación son útiles siempre y cuando la institución toma nota de dichas lecciones y hace cambios de comportamiento tomándolas en cuenta.
• La evaluación debe centrarse en la valoración de la efectividad de desarrollo de las actividades del Banco, y
• La evaluación debe centrarse en los resultados de las actividades financiadas por el Banco, no sólo en productos (proyectos aprobados, los fondos prestados), sino también en resultados.

Áreas prioritarias de trabajo:

Las Evaluaciones de Programa de País (CPE) examinan la experiencia histórica reciente del Banco con un país con el fin de mejorar la capacidad de planificación y fijación de objetivos del Banco, así como para evaluar el progreso de los objetivos del programa del país. El CPE revisa la pertinencia y coherencia de la estrategia del Banco en el país, los resultados de las operaciones financiadas por el Banco, la eficiencia de su ejecución y ofrece comentarios del prestatario sobre la eficacia de las acciones del Banco. Los CPEs están directamente ligados al ciclo electoral del país, el cual evaluado con el fin de proporcionar una contribución evaluativa para la nueva Estrategia de País del Banco cuando cambia la administración. Los CPEs no están diseñados como documentos de decisión, sino para proveer al Directorio una recolección de los programas financiados por el Banco y para crear una oportunidad para la reflexión y el aprendizaje de lecciones para mejorar los programas.

Estas evaluaciones son complejas y desafiantes dado que la atribución de sus resultados es difícil de adjudicar a nivel nacional dada la cantidad de actores y otros tantos factores que están envueltos, entre ellos el gobierno, sin mencionar otras variables que también intervienen como choques externos y desastres naturales. Sin embargo, los CPEs se centran en un período histórico bastante largo en el que se producen y ejecutan cientos de acciones y operaciones del Banco. Por otra parte, a menudo los CPEs intentan evaluar intervenciones de los programas que carecen de objetivos claros, indicadores mensurables y tienen hitos y objetivos pocos explícitos que permitan medir el progreso.

Política y Evaluación de Instrumentos:

El Banco cuenta con una amplia gama de políticas operativas y sectoriales, muchas de las cuales definen el carácter explícito de los instrumentos que utiliza el BID para desempeñar su mandato. Dichas políticas son una guía explícita de la acción del Banco destinadas a definir el espacio en el que las acciones del BID se pueden llevar a cabo.

Es importante recalcar que mientras las estrategias definen los enfoques y las prioridades, las políticas estipulan los parámetros dentro de los cuales se pueden llegar a cabo las acciones del Banco. Las políticas son siempre explícitas y sujetas a la aprobación de la Junta de Directores del Banco. Un sub-conjunto importante de políticas es el que define los diferentes instrumentos para apoyar el desarrollo de la región. OVE evalúa estas políticas e instrumentos del Banco en forma periódica para determinar su pertinencia y eficacia. Las evaluaciones de políticas pueden ser ex-post o evaluaciones de proyectos en proceso de una muestra de proyectos relacionados con una política en particular del Banco. Éstas evalúan tanto los resultados de los proyectos como el valor del enfoque estratégico implementado por el Banco. Las evaluaciones de políticas y de instrumentos también pueden examinar actividades de desarrollo no financieras del Banco así como temas del sector privado.

Evaluaciones sectoriales y temáticas:

Al igual que la evaluación de políticas, las evaluaciones sectoriales y temáticas se llevan a cabo tomando una muestra de proyectos en un sector determinado o en relación con un tema específico de los préstamos del Banco donde existe una alta probabilidad de lecciones de aprendizaje pertinentes al diseño de futuras operaciones. La muestra puede incluir proyectos en curso al igual que proyectos ya completados y el sector o área temática puede ser objeto de una estrategia formal del Banco. Diez evaluaciones sectoriales y temáticas realizadas en 2002 y 2003 evaluaron las estrategias del Banco y concluyeron que las estrategias formales del Banco proveían una guía bastante imprecisa con relación al diseño de operaciones del Banco. Como resultado, los próximos proyectos se centrarán en la evaluación de los propios proyectos en lugar de estrategias sectoriales y temáticas.

Evaluaciones Expost de Proyectos:

En el 2003, el Directorio Ejecutivo aprobó la propuesta de OVE para llevar a cabo Evaluaciones ExPost de Rendimiento y Sostenibilidad (EPSA) de una muestra de proyectos dos o tres años después del último desembolso, así como de evaluaciones de impacto exhaustivas de un pequeño número de proyectos. Las evaluaciones ex-post de proyectos fueron el producto principal de la oficina de evaluación que precedió a la creación de OVE a mediados de 1999. A su vez, estas evaluaciones no formaban parte del nuevo mandato de OVE que debía concentrarse evaluaciones de carácter más amplio como por ejemplo la evaluaciones de programas de país, estrategias, sectoriales y temáticas.

Las Evaluaciones ExPost de Rendimiento y Sostenibilidad (EPSA) están diseñados para evaluar el desempeño del proyecto (resultados a través de diferentes grupos de beneficiarios, los efectos no intencionales, y las comparaciones con otras opciones) y la sostenibilidad dos a tres años luego de haber culminado el apoyo del BID. Dichas evaluaciones sirven de base para las evaluaciones de impacto, pero también como un producto por derecho propio. Ambos tipos de evaluación expost de proyectos están diseñados para informar acerca de las decisiones por parte del gobierno del país y el Banco sobre la posibilidad de expandir, modificar o eliminar categorías de los proyectos. Para el Banco, en particular, el propósito de la evaluación es generar información que permita evaluar los modelos de base de diseño de los proyectos para determinar si se debe replicar las intervenciones de los temas evaluados en otros países.

Supervisión de Sistemas y Procesos del Banco:

OVE supervisa la calidad de todos los programas y los sistemas de evaluación de proyectos del Banco y hace recomendaciones para su mejoramiento. En este contexto, OVE evalúa la eficacia, la eficiencia, la calidad de la supervisión y el monitoreo del sistema del Banco, sus procesos e instrumentos y reitera la validez de los resultados de la Administración. OVE también hace juicios sobre la "evaluabilidad" de los proyectos a sus comienzos, incluyendo la claridad de la definición del objetivo del proyecto, la pertinencia y el contexto estratégico de las intervenciones, el desarrollo de indicadores de rendimiento eficaces desde el principio, y la capacidad para medir los productos asociados a los proyectos durante su aplicación, los resultados del proyecto y los impactos reales del proyecto. A su vez, OVE corrobora la evaluabilidad de las estrategias de país. Adicionalmente, OVE realiza evaluaciones de supervisión de la estrategia corporativa, políticas y procesos del Banco.

Evaluación del desarrollo de capacidad:

Parte del mandato de OVE incluye la Evaluación de la Capacidad de Desarrollo del Banco que OVE hace a través de acuerdos de evaluación cooperativa con las instituciones financieras subregionales, seminarios y otras actividades de formación. El reto principal de la capacidad de evaluación en los préstamos a los gobiernos miembros, es la ausencia de una posición institucional en la estructura del presupuesto de toma de decisiones para la evaluación. Esto ha llevado a OVE a proporcionar una asistencia limitada de evaluación directa de desarrollo de capacidad a los países prestatarios e instar a la Administración a hacer frente a este problema en la modernización de los proyectos estatales. Por su parte, OVE también ha incluido la participación del los países prestatarios en evaluaciones expost de proyectos como una forma de aumentar su capacidad institucional para llevar a cabo las evaluaciones y utilizarlas mejorar la asignación de recursos.

OVE tiene acuerdos de cooperación con el Banco de Desarrollo del Caribe, el Banco Centroamericano de Integración Económica y la Universidad de las Indias Occidentales para llevar a cabo la evaluación conjunta de las actividades de desarrollo de capacidades. OVE también ha trabajado con el Instituto Brasileño de Investigación en Economía Aplicada (IPEA) para desarrollar redes de evaluación en América Latina y para aumentar la conciencia de la utilidad de la evaluación de la administración pública. Por último, en colaboración con IPEA, el Banco apoyó el desarrollo de la página web de la Evaluación y Medición del Desempeño de la Mesa Redonda Interamericana que contiene los recursos pertinentes en español e inglés.

Participación en la Evaluación de la Comunidad de Desarrollo de Prácticas:

El BID es un miembro fundador del Grupo de Cooperación de los Bancos Multilaterales de Desarrollo (ECG) y participa en la Organización para la Cooperación y el Desarrollo, Comité de Ayuda al Desarrollo (CAD / OCDE) Red de Evaluación del Desarrollo (NODO). Ambos grupos colaborarán en el desarrollo de normas de buenas prácticas para la evaluación, la armonización de las políticas de evaluación, procedimientos y prácticas y al punto que sea posible dadas las diferentes circunstancias institucionales, intercambio de información, el desarrollo de la capacidad de evaluación y las evaluaciones conjuntas.

Ejercicio de Evaluabilidad:

Evaluabilidad es un concepto simple: es la capacidad de una intervención para demostrar en términos mensurables los resultados propuestos. Los resultados de medición son necesarios para que un proyecto o programa pueda ser gestionado teniendo en cuenta los resultados esperados y además es necesario para el aprendizaje institucional sobre la eficacia del desarrollo.

En el 2001, la Oficina de Evaluación y Supervisión desarrolló una herramienta para la medición de la evaluabilidad aplicándola a todos los proyectos aprobados ese año. Un ejercicio similar se completó en los años 2005 y luego en el 2009 en los cuales se aplicó la misma herramienta a la cohorte de proyectos aprobados. El método de evaluabilidad se basa en revisiones hechas por pares, es decir, se basa en los hallazgos de los expertos revisión para evaluar las propuestas en las nueve dimensiones de evaluabilidad: diagnóstico, objetivos, lógica del proyecto, supuestos y riesgos, indicadores de productos, indicadores de resultados, líneas de base indicadores de producto, líneas de base indicadores de resultado, y monitoreo y evaluación. Las primeras cuatro dimensiones constituyen las dimensiones sustantivas de la evaluabilidad, mientras que las otras cinco dimensiones constituyen la dimensión formal de la evaluabilidad.

Un método similar fue desarrollado y aplicado a la evaluabilidad de las estrategias de país. La oficina aplicó la herramienta de evaluabilidad para la estrategia de país aprobadas entre 2003-2009. Como parte del acuerdo de la Novena Reposición de Capital, OVE ha recibido instrucciones de revisar la evaluabilidad de los proyectos anualmente. Por lo tanto, OVE va a complementar la evaluación periódica de la evaluabilidad de los proyectos del Banco con un ejercicio de revisión anual basado en una muestra aleatoria.