Estatal

Evaluación de MIR de los Programas Presupuestarios del Aparato Central

Dependencia responsable del programa
Tipo de evaluación
Consultor
NUMERA S.C.
Costo de evaluación
$844,949.80
Año
2017
Archivo de términos de referencia
Formato difusión de resultados
Estado de la evaluación
Objetivos

Objetivo general

Determinar la pertinencia de la lógica causal de las matrices de indicadores para resultados de los programas presupuestarios del sector central del Gobierno de Jalisco.

Objetivos específicos

1. Valorar la lógica horizontal de la MIR de los programas presupuestarios del sector central.

2. Valorar la lógica vertical de las MIR de los programas presupuestarios del sector central.

Tipo de recurso
Estatal
Principales conclusiones

Se observó que los objetivos planteados para cada programa corresponden a los resúmenes narrativos del nivel de fin, esto genera confusión en el enfoque de los objetivos, de manera que es recomendable la utilización del resumen narrativo del propósito.

Se registró que los programas presupuestarios objeto de estudio, disponen de nombre y clave adecuados para su clasificación.

Sobre la verificación de los elementos de la justificación del programa, se observó el uso de información adecuada, específicamente en los aspectos de alineación del programa presupuestario con el PED, así como su alineación nacional, alineación administrativa e información del marco normativo.

Se presentaron áreas de mejora en la determinación de la magnitud, comportamiento y evolución del problema, pues estos datos no fueron cubiertos adecuadamente en la totalidad de los casos.

En cuanto a la población objetivo y/o potencial, se registró que en el 67% de los casos, la información fue adecuada. Adicionalmente, se presentaron deficiencias en la información sobre el tipo de apoyo entregado a la población atendida, pues no se registró de manera pertinente en el 33% de los casos.

Bienevales para adultos mayores y personas con discapacidad

Derecho social
Dependencia responsable del programa
Tipo de evaluación
Consultor
Linter Consultores
Costo de evaluación
$260,000
Año
2016
Archivo de términos de referencia
Formato difusión de resultados
Estado de la evaluación
Objetivos

Objetivo General

Determinar la pertinencia de la lógica de intervención, así como los efectos inmediatos y externalidades generadas en los beneficiarios del programa público “Bienevales para Adultos Mayores y Personas con Discapacidad” para atender el problema público de carencias económicas en hogares con integrantes adultos mayores y personas con discapacidad que llevan a limitar sus viajes en transporte público al mínimo indispensable, lo que disminuye la posibilidad de realizar con mayor independencia las actividades de su vida cotidiana.

Objetivos específicos

1. Determinar la pertinencia de los mecanismos de seguimiento con los que cuenta el programa para documentar sus resultados y el avance en el cumplimiento de sus objetivos.

2. Determinar en qué medida el cumplimiento de los objetivos del programa es pertinente para la atención del problema público que se tiene diagnosticado.

3. Determinar los efectos inmediatos (positivos/negativos) y externalidades (positivas/negativas) generadas en la población atendida por el programa.

4. Determinar en qué medida el desempeño del programa es pertinente para garantizar su sostenibilidad y la de sus resultados.

Tipo de recurso
Estatal
Principales conclusiones

El seguimiento del programa se lleva a cabo únicamente a través de un indicador en la MIR. Es necesario considerar otros indicadores más estratégicos de desempeño como los que se sugieren en el informe. Se sugieren algunas adecuaciones menores a la MIR, sobre todo incluir algún indicador de la calidad del servicio de transporte público. El programa no sustenta su diseño en estudios externos.

Existe una alineación conceptual del instrumento del programa con la consecución de los objetivos planteados. El programa ha identificado cuáles son sus retos principales y se tiene conocimiento de las causas que han limitado superar dichos retos.

Los beneficiarios tienen una valoración muy positiva del programa, sobre todo por el ahorro que éste genera sobre sus gastos en transporte público. Hay choferes que no aceptan los Bienevales y dan mal trato a los beneficiarios, sobre todo a los discapacitados.

Los procesos operativos han mejorado su eficiencia significativamente.

Fondos de Desarrollo Cultural

Dependencia responsable del programa
Tipo de evaluación
Consultor
Laura Patricia Pedraza (Persona física)
Costo de evaluación
$150,000
Año
2014
Archivo de términos de referencia
Estado de la evaluación
Objetivos

Objetivo general: 

Determinar la pertinencia de la lógica de intervención y los instrumentos del Programa de Desarrollo Cultural Municipal para atender el problema de las deficientes condiciones para el desarrollo cultural de la población de los municipios de Jalisco.

Objetivos específicos: 

1. Determinar en qué medida los elementos del diagnóstico del programa público son suficientes para tener una comprensión válida del problema público que se pretende atender. 

2. Determinar en qué medida los instrumentos de los que se vale el programa público son pertinentes para atender válidamente el problema que fue diagnosticado.

3. Determinar la validez de la lógica de intervención para atender el problema planteado a partir de una comparación con casos similares.

4. Determinar la suficiencia de evidencia empírica para sostener que la lógica de intervención es pertinente para tratar el problema.

5. Identificar la interacción del programa con otros programas o acciones del gobierno para optimizar el logro de los resultados de la intervención.

Tipo de recurso
Estatal
Principales conclusiones

Principales conclusiones: 

Se observó que el Programa tiene el potencial de ser una herramienta de acción pública efectiva, y podría generar impactos positivos en la población beneficiaria. Para ello, tendrá que llevar a cabo un proceso de mejora y fortalecimiento continuos, a través de la generación de documentos del diseño, monitoreo y seguimiento, que le permitan replantearse el modelo de su intervención, partir de la identificación documentada del problema, la cuantificación de su población potencial y su objetivo, y que establezcan las pautas para la creación de otros instrumentos de su intervención.

Apoyo a las Organizaciones de la Sociedad Civil

Dependencia responsable del programa
Consultor
IDEA Consulores
Costo de evaluación
$649,950
Año
2014
Archivo de términos de referencia
Formato difusión de resultados
Estado de la evaluación
Objetivos

Objetivo general: 

Apoyar a las Organizaciones de la Sociedad Civil, en los proyectos orientados a la solución de problemas sociales, entendiendo que la sociedad organizada es una parte fundamental e indispensable en la implementación de políticas públicas que permitan lograr un mayor bienestar en la población.

Objetivos especificos: 

1. Fomentar la coinversión social y el trabajo conjunto Gobierno-Sociedad. 2. Promover el crecimiento de aquellos líderes sociales y organizaciones comunitarias que incrementen el capital social, fomenten la cultura solidaria y solucionen problemas sociales con creatividad. 3. Impulsar el bienestar social y una calidad de vida digna de los jaliscienses, fortaleciendo el trabajo de los ciudadanos agrupados en organizaciones de la sociedad civil que realizan acciones a favor de los que menos tienen. 4. Respaldar con aportaciones económicas los proyectos sociales y necesidades urgentes de las organizaciones de la sociedad civil, para dar respuesta y atender diversas necesidades de la población 5. Realizar talleres o encuentros de capacitación con Asociaciones para fortalecerlas en la integración de proyectos y procuración de fondos 6. Apoyar proyectos con alto impacto social y alcance interregional, los cuales, debido a la cantidad de beneficiar

Tipo de recurso
Estatal
Principales conclusiones

El Programa “Apoyo a las Organizaciones de la Sociedad Civil” Ejercicio 2014, sin duda juega un papel importante para las Organizaciones de la Sociedad Civil de Jalisco; ha sido estratégico para muchas de ellas quienes consideran que con este aporte se han logrado impactos significativos en la instrumentación de sus proyectos.
 Es un Programa que en materia de Diseño, cuenta con Reglas de Operación, en las cuales vienen identificadas sus Poblaciones Potencial y Objetivo así como sus cuantificaciones, tiene su Matriz de Indicadores y un Sistema de Información que le permite de cierta forma monitorear el desempeño de éste.
Dicho lo anterior, en la evaluación se encontraron diversos hallazgos tanto en el Diseño como en el Proceso del Programa que pueden ser sujetos de mejora, por ejemplo, el Objetivo General de éste no deja claro el Fin último al cual se busca contribuir apoyando a las OSC; es decir, no queda claro el “para qué” del Programa.
En cuanto a las Reglas de Operación, se aprecia un espectro de actuación demasiado amplio, podría pensarse que esto representa una ventaja, porque parecería ser más incluyente, esto trae consigo una serie de problemas, entre ellos, destacan la dispersión de los esfuerzos y apoyos de la SEDIS; la disminución de los impactos en cada ámbito temático, que limita las complementariedades y las masas críticas; la posible duplicidad con otras instancias sectoriales que también tienen programas de apoyos directos e indirectos para OSC; y la limitación en los montos unitarios de apoyos a organizaciones que deberían de ser de interés prioritario para la Secretaría, por su impacto en el Desarrollo Social y la Inclusión Social.
Por otro lado, uno de los temas importantes dentro del Programa más allá del apoyo económico para los proyectos es la capacitación que se brinda a las OSC, en el grupo de enfoque que se realizó con más de 15 organizaciones, algunas refirieron sus experiencias de formación relacionadas con el Programa, como “interesantes” en cuanto a ciertos temas, pero “poco prácticas”; más aún, ninguno refirió que haya cambiado algún aspecto su quehacer como resultado de la capacitación.

Una computadora por familia

Dependencia responsable del programa
Tipo de evaluación
Consultor
CEPNA SC
Costo de evaluación
$335,000
Año
2014
Archivo de términos de referencia
Estado de la evaluación
Objetivos

Objetivo general: 

Evaluar la consistencia y orientación a resultados del Programa Una computadora por familia para el ejercicio 2013 con la finalidad de proveer información que retroalimente su diseño, gestión y resultados para la toma de decisiones

Objetivos especificos: 

1. Determinar en qué medida el diseño es pertinente para resolver el problema que el Programa busca atender, así como su vinculación con la planeación sectorial y la consistencia entre el diseño y la normatividad aplicable. 2 Identificar en qué medida colaboran otras políticas para resolver el problema que el Programa busca atender. 3. Identificar si el Programa cuenta con instrumentos de planeación y orientación hacia resultados. 4. Examinar si el Programa ha definido una estrategia de cobertura de mediano y largo plazo y los avances presentados en el ejercicio fiscal evaluado. 5. Analizar los principales procesos establecidos en las Reglas de Operación (ROP) del Programa o en la normatividad aplicable, los sistemas de información del Programa y sus mecanismos de rendición de cuentas. 6. Determinar si el Programa cuenta con instrumentos que permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y 7. Examinar si los resultados del Programa son satisfactorios respecto a la atención del problema para el que fue creado.

Tipo de recurso
Estatal
Principales conclusiones

Principales conclusiones: 

Aunque la problemática está claramente definida en la Agenda Digital 2013, el Programa no cuenta con estudios o evaluaciones en los cuales se establezca qué tipo de intervención es más exitosa para resolver el problema planteado. El diseño del programa no es pertinente para resolver el problema para el cual fue creado, porque no cuenta con los controles ni con las características necesarias para asegurar que los apoyos lleguen a los hogares en pobreza sin una computadora y con al menos un estudiante. Respecto a los controles, no existe un mecanismo para asegurar la veracidad de lo declarado en las solicitudes, como sería la verificación visual de algunos domicilios de manera aleatoria, por lo que personas que no están en pobreza o que tienen computadora pueden presentar su solicitud y recibir el apoyo.

Mochilas con los útiles

Derecho social
Dependencia responsable del programa
Tipo de evaluación
Consultor
Linter Consultores de México SC
Costo de evaluación
$429,200
Año
2014
Archivo de términos de referencia
Informe final
Estado de la evaluación
Objetivos

Objetivo general: 

Determinar la pertinencia de los bienes que entrega El Programa, así como sus efectos inmediatos, para cumplir con sus objetivos y atender el problema que se tiene diagnosticado.

Objetivos específicos: 

1. Determinar la pertinencia de los mecanismos de seguimiento con los que cuenta el programa para documentar sus resultados y el avance en el cumplimiento de sus objetivos.
2. Determinar en qué medida el cumplimiento de los objetivos del programa es pertinente para la atención del problema público que se tiene diagnosticado.
3. Determinar en qué medida el desempeño del programa es pertinente para garantizar su sostenibilidad y la de sus resultados.

Tipo de recurso
Estatal
Principales conclusiones

Principales conclusiones: 

La evidencia indica que el programa cuenta con un amplio apoyo entre la población beneficiaria y entre otros actores. El principal beneficio percibido es el apoyo a la economía familiar. La incidencia se distribuye de manera progresiva entre los beneficiarios, es decir que beneficia más a quienes menos tienen, especialmente en el interior del estado. La población manifiesta que el programa contribuye a evitar la deserción escolar, pero por su aplicación universal, no fue posible encontrar un contrafactual confiable para afirmar con certeza que ese efecto sea atribuible al programa. La evaluación indica que hay todavía áreas de mejora en el diseño y la operación del programa: la formulación del problema no parece estar sustentada en evidencia científica; los recursos no fluyen oportunamente para garantizar la ejecución de las actividades; existen problemas de comunicación al interior del equipo operativo y se perciben algunas fallas en el control de calidad de los apoyos.

Componente del Programa Jalisco Competitivo: 1) Desarrollo de Productos y Servicios

Derecho social
Dependencia responsable del programa
Consultor
Arias Marroquín y Asociados SC
Costo de evaluación
$33,000
Año
2015
Archivo de términos de referencia
Estado de la evaluación
Objetivos

Objetivo general:

Evaluar la consistencia y la orientación a resultados de los programas públicos definidos en el objeto de estudio con la finalidad de proveer información que permita retroalimentar su diseño, gestión y resultados.

Objetivos específicos:

1. Determinar en qué medida el diseño del programa es pertinente para resolver el problema que se pretende atender, así como su vinculación con la planeación sectorial, la consistencia entre el diseño y la normatividad aplicable. 
2. Identificar en qué medida colaboran otras políticas para la asistencia que el programa pretende atender.
3. Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.
4. Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado.
5. Analizar los principales procesos establecidos en las Reglas de Operación del Programa (ROP) o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.
6. Demostrar si el programa cuenta con instrumentos que permita recabar información para medir el grado de satisfacción de los beneficiarios o destinatarios del programa y sus resultados.
7. Examinar si los resultados del programa son satisfactorios respecto a la atención del problema para el que fue creado.
 

Tipo de recurso
Estatal
Principales conclusiones

Los hallazgos realizados por el Equipo Consultor Externo y por la Unidad de Evaluación Interna se ciernen en gran medida sobre el apartado de Diseño del programa. La identificación con mayor precisión de la población potencial y objetivo será uno de los aspectos en los que deberán trabajar los responsables del programa y su Unidad de Evaluación Interna. Por último, al no encontrar elementos para el seguimiento a los beneficiarios en el largo plazo existe una ausencia de información sumamente valiosa que es imprescindible para la realización de evaluaciones de mayor profundidad y para determinar la vocación del programa alrededor del tipo de productos o servicios que integran en los mercados formales. Por lo tanto, la sugerencia en este apartado es comenzar a diseñar los instrumentos de recolección de información para el monitoreo de los beneficiarios y su desempeño en su contexto mercantil.

Becas para Jóvenes Egresados “Bienestar Jalisco”

Derecho social
Dependencia responsable del programa
Consultor
Arias Marroquín y Asociados SC
Costo de evaluación
$33,000
Año
2015
Archivo de términos de referencia
Estado de la evaluación
Objetivos

Objetivo general:

Evaluar la consistencia y la orientación a resultados de los programas públicos definidos en el objeto de estudio con la finalidad de proveer información que permita retroalimentar su diseño, gestión y resultados.

Objetivos específicos:

1. Determinar en qué medida el diseño del programa es pertinente para resolver el problema que se pretende atender, así como su vinculación con la planeación sectorial, la consistencia entre el diseño y la normatividad aplicable. 
2. Identificar en qué medida colaboran otras políticas para la asistencia que el programa pretende atender.
3. Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.
4. Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado.
5. Analizar los principales procesos establecidos en las Reglas de Operación del Programa (ROP) o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.
6. Demostrar si el programa cuenta con instrumentos que permita recabar información para medir el grado de satisfacción de los beneficiarios o destinatarios del programa y sus resultados.
7. Examinar si los resultados del programa son satisfactorios respecto a la atención del problema para el que fue creado.

Tipo de recurso
Estatal
Principales conclusiones

El programa de manera general tiene un promedio de respuestas de nivel 2; es crítica su situación y tiene una grave amenaza de desaparecer, pues además de no contar con diagnóstico ni claridad en el problema público que se pretende atender, en 2015 no tuvo presupuesto y en 2014 tuvo en recorte presupuestal. En la evaluación resalta que el 30% de las preguntas del cuestionario tiene como respuesta información inexistente; lo que hace evidente que el programa presenta carencias particularmente en el diseño, planeación y orientación a resultados.

Reinserción de Jóvenes en Conflicto con la Ley

Derecho social
Dependencia responsable del programa
Consultor
Arias Marroquín y Asociados SC
Costo de evaluación
$33,000
Año
2015
Archivo de términos de referencia
Formato difusión de resultados
Estado de la evaluación
Objetivos

Objetivo general:

Evaluar la consistencia y la orientación a resultados de los programas públicos definidos en el objeto de estudio con la finalidad de proveer información que permita retroalimentar su diseño, gestión y resultados.

Objetivos específicos:

1. Determinar en qué medida el diseño del programa es pertinente para resolver el problema que se pretende atender, así como su vinculación con la planeación sectorial, la consistencia entre el diseño y la normatividad aplicable. 
2. Identificar en qué medida colaboran otras políticas para la asistencia que el programa pretende atender.
3. Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.
4. Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado.
5. Analizar los principales procesos establecidos en las Reglas de Operación del Programa (ROP) o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.
6. Demostrar si el programa cuenta con instrumentos que permita recabar información para medir el grado de satisfacción de los beneficiarios o destinatarios del programa y sus resultados.
7. Examinar si los resultados del programa son satisfactorios respecto a la atención del problema para el que fue creado.
 

Tipo de recurso
Estatal
Principales conclusiones

En general es notorio que las respuestas del cuestionario presentan bastante información que no está en las ROPS 2015.
El promedio global de la evaluación es 2 y aunque en la parte de Diseño y Planeación ciertamente hay algunas fortalezas que se muestran en el respectivo promedio por dimensión (2.5) en general el programa denota importantes deficiencias, tanto en el diseño como en Sistematización de Información, e Indicadores de Seguimiento y Resultados:
- Los indicadores que se describen en las Reglas de Operación son insuficientes para monitorear resultados del programa y además no especifican algún tipo de meta
- No se cuenta con instrumento para captar satisfacción de beneficiarios
- Falta de personal para sistematizar y mejorar información del programa
- El programa presenta problemas para incrementar la población atendida
- La vinculación interinstitucional de la que dependen en parte los resultados del programa no está funcionando
Por lo anterior, se señalan varias oportunidades y recomendaciones de mejora para reestructurar el diseño, y consistencia como para mejorar el seguimiento y resultados del programa.
 

Mejoramiento de la Vivienda

Dependencia responsable del programa
Consultor
Arias Marroquín y Asociados SC
Costo de evaluación
$33,000
Año
2015
Archivo de términos de referencia
Formato difusión de resultados
Estado de la evaluación
Objetivos

Objetivo general:

Evaluar la consistencia y la orientación a resultados de los programas públicos definidos en el objeto de estudio con la finalidad de proveer información que permita retroalimentar su diseño, gestión y resultados.

Objetivos específicos:

1. Determinar en qué medida el diseño del programa es pertinente para resolver el problema que se pretende atender, así como su vinculación con la planeación sectorial, la consistencia entre el diseño y la normatividad aplicable. 
2. Identificar en qué medida colaboran otras políticas para la asistencia que el programa pretende atender.
3. Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.
4. Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado.
5. Analizar los principales procesos establecidos en las Reglas de Operación del Programa (ROP) o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.
6. Demostrar si el programa cuenta con instrumentos que permita recabar información para medir el grado de satisfacción de los beneficiarios o destinatarios del programa y sus resultados.
7. Examinar si los resultados del programa son satisfactorios respecto a la atención del problema para el que fue creado.
 

Tipo de recurso
Estatal
Principales conclusiones

Cada evaluación abre una ventana de oportunidad a la mejora y en este caso, la juventud del programa da a luz un conjunto de opciones que deberán ser consideradas para el perfeccionamiento de distintos apartados como la sustentación del programa en base a estudios técnicos o diagnósticos que respalden las acciones emprendidas. Junto a esto, se debe considerar el determinar una población potencial y objetivo tomando en consideración los datos que arrojen los diversos sistemas de información estadística con los que se cuenta a nivel estatal.
Al ser este un programa de reciente creación, se tienen condiciones favorables para establecer de forma temprana, mecanismos de acopio de información que permitan verificar los supuestos bajo los cuales va a trabajar el programa y el grado de cumplimento de sus fines. La recolección de datos sobre los beneficiarios a lo largo del tiempo, así como el recabado de su percepción serán de gran utilidad para la toma de decisiones en cuanto a la implementación y para la evaluación sobre la eficacia del programa en un futuro inmediato.
No debe dejarse de lado la trascendencia que deberá tener el comenzar a operar las otras modalidades del programa, que si bien consumirán más recursos financieros, y demandarán un mayor esfuerzo humano, son las que más contribuyen a cumplimentar el objetivo relativo a mejorar o dignificar las condiciones de las viviendas en Jalisco.