Medición, Aprendizaje y Adaptación

Introducción

Reconocer el valor de un enfoque receptivo y adaptable es central para los Objetivos de Desarrollo Sostenible y para el Plan Estratégico 2022-2025 de UNICEF. Un enfoque flexible y ágil permite corregir el curso ante entornos volátiles, nueva evidencia y conocimientos de la implementación.

Este enfoque de la gestión adaptable se alinea con nuestro trabajo en el Cambio Social y de Comportamiento al permitirnos diseñar intervenciones que se adapten al contexto y se ajusten a la complejidad. La adopción de iteraciones y el aprendizaje constante deben estar en el centro de nuestro trabajo.

La iteración asume una mentalidad de aprendizaje. Realizar mejoras y ajustes en el diseño del proyecto en función de nueva evidencia y aportes es una parte esencial y prevista del proceso. Evaluamos, aprendemos y adaptamos mediante un ciclo regular de retroalimentación rápida y ajustes. Cada ciclo nos acerca más a soluciones que efectivamente aborden el desafío que buscamos resolver. Afrontar problemas sociales y de comportamiento complejos requiere un aporte significativo de las personas y las comunidades con las que nos asociamos antes de ampliar la escala de la implementación.

Adoptar la noción de que no tenemos todas las respuestas es fundamental para un enfoque iterativo. Las necesidades y fortalezas locales deben ser descubiertas junto con la comunidad y los colaboradores. Las estrategias deben cambiar a lo largo de un programa a fin de ajustarse a las necesidades y el contexto en evolución. También es importante considerar que las personas quizá no se den cuenta de lo que necesitan hasta que sea tangible. Esta incertidumbre está en el centro de un proceso iterativo.

Las revisiones rápidas y los bucles de retroalimentación pueden aumentar la responsabilidad, eficiencia y rentabilidad, disminuir el riesgo y administrar la incertidumbre, a la vez que alientan la mejora continua.

¿Por qué la iteración es diferente?

Los enfoques de proyecto tradicionales se desarrollan en un marco lineal de causa y efecto, donde cada paso contribuye al resultado final. Muchas iniciativas de desarrollo y las expectativas de los donantes dependen de este diseño horizontal, donde el avance se divide en etapas a lo largo del ciclo de vida del proyecto: una fase de investigación, una fase de diseño de proyecto y una fase de suministro, con momentos de supervisión a lo largo del camino.

Al final de esta secuencia de fases, se realiza una evaluación para determinar si la iniciativa alcanzó sus objetivos.

A diferencia del enfoque secuencial, en el proceso iterativo se planean muchos momentos de fracaso y reflexión. Se reconoce que nuestro trabajo, y el mundo en el que lo hacemos, son imperfectos. Lo que las personas dicen y hacen suelen ser cosas diferentes. Los desafíos no anticipados son inevitables a lo largo de cualquier programa. Es probable que las decisiones que se tomen en la fase de diseño cambien antes de la entrega del informe final.

El enfoque tradicional es menos dinámico y receptivo a los cambios inesperados en el contexto o las necesidades. No está diseñado para realizar modificaciones rápidas a fin de tratar las ineficiencias sobre la marcha. Esta rigidez implica que los cambios terminan siendo más costosos, y los resultados continúan sin someterse a pruebas e inciertos hasta el final.

Permitir la iteración ofrece flexibilidad en nuestro trabajo. Puede ayudarnos a identificar debilidades en el diseño de proyectos y en la premisa del trabajo en sí misma. Puede señalar de qué forma los proyectos son ineficientes, inefectivos y fracasan. Esto ayuda a combatir la falacia del costo irrecuperable: la idea de que necesitamos seguir con lo que comenzamos, aun cuando la evidencia demuestre que producirá pocos beneficios.

Una nota sobre objetivos e indicadores

Si bien se debe mantener el enfoque primario de la estrategia, expresado a través de la declaración de problema y oportunidades, un proceso iterativo puede revelar formas inesperadas de encararlo. No obstante, puede ser más complejo que solo hacer un seguimiento del avance hacia los resultados e indicadores intermedios establecidos al principio. Puede descubrir que estaba midiendo las cosas equivocadas. No conocemos todas las respuestas al principio, así que es probable que la forma en que medimos el éxito cambie durante el proyecto.

Por ejemplo, un proyecto enfocado en aumentar la inscripción de niñas en escuelas secundarias puede comenzar por abordar la conciencia sobre los beneficios de la educación. Poner a prueba esta suposición a lo largo del proyecto puede revelar que el problema no tiene nada que ver con la conciencia o sensbilización. Los padres pueden comprender la importancia de la escuela, y las niñas pueden querer asistir. Sin embargo, quizá descubra que las presiones sociales para casarse, los embarazos o la necesidad de apoyar económicamente la familia propia son obstáculos mucho más importantes para la inscripción. Si bien el aumento de la inscripción sigue siendo el objetivo, el foco de las intervenciones y lo que medimos cambiará con los nuevos conocimientos que reunamos mediante la supervisión, el aprendizaje y la adaptación continuos.

Pasos para un proceso iterativo

La medición, el aprendizaje y la adaptación deben ser continuos a lo largo del ciclo de vida de la estrategia.

Oportunidades de iteración

Los hitos clave son buenas oportunidades para detenerse y hacer un balance sobre los nuevos conocimientos y aprendizajes, y para reflexionar y cambiar el curso, cuando sea adecuado.

La estrategia general o el programa pueden diseñarse con más flexibilidad y receptividad. Sin embargo, las actividades también pueden adoptar ciclos ágiles y rápidos de aprendizaje y adaptación en el micronivel. Esto se puede dividir en cuatro pasos: 

1. Planificar y confirmar objetivos  
   Vuelva siempre al asunto que la iteración debe abordar. Quizá sea necesario desglosar el proyecto en componentes más pequeños que proporcionen varios momentos de contribuciones, pruebas y retroalimentación. Estos “sprints” pueden ofrecer perspectivas valiosas de momentos clave a lo largo del ciclo de vida del proyecto.  
    
2. Crear su primera iteración  
   Las iteraciones no necesitan ser prototipos completos. Pueden ser modelos físicos en borrador, bocetos y esquemas en papel, ejemplos baratos de herramientas digitales, ajustes de servicios, cambios del espacio físico, etc. También pueden ser estrategias que apliquen flexibilidad, retroalimentación rápida y adaptación desde el principio. La meta es probar rápidamente sus hipótesis y reunir evidencia.  
    
3. Probar  
   Reúna comentarios de las partes interesadas y colaboradores mediante encuestas estructuradas, grupos focales y otras tácticas. Use esta oportunidad para volver a alinearse con sus objetivos originales (lo que espera lograr y la recepción que tienen sus primeras ideas).  
    
4. Evaluar y revisar  
   En este punto, ya debería tener información con la cual entrar en acción.  Es importante mantener una mentalidad abierta. No es momento para decidir si algo tuvo éxito o no. En cambio, considere las siguientes preguntas: ¿Esta iteración cumple sus objetivos? ¿Qué sabemos ahora que mejorará esto? Siga adaptando su enfoque y diseño hasta llegar a una siguiente iteración.  
   Recuerde: el desarrollo iterativo puede tardar semanas o incluso meses. Deje que los objetivos de su proyecto sean su norte y vuelva a ellos siempre que comience un nuevo ciclo.  

¿Cuándo debe finalizar este proceso?  

La cantidad de iteraciones depende de la iniciativa. Es importante que su trabajo sea lo suficientemente flexible para considerar la evolución de las circunstancias, los cambios en el contexto y la retroalimentación directa de las comunidades con las que está trabajando. Esto lo ayudará a determinar si los nuevos aprendizajes tendrán un impacto significativo y medible en su trabajo. Es esperable que haya menos ciclos a lo largo del tiempo.

Un proceso iterativo exitoso debe hacer lo siguiente:  

• Aumentar la calidad y funcionalidad. Cada iteración debería permitir que se acerque a su meta. Si la retroalimentación sugiere que no está en el camino correcto después de varias rondas de iteración, analice la retroalimentación para determinar cómo puede corregirse el curso.   
• Reducir niveles de cambio. Con cada iteración, la cantidad de cambios fundamentales debería disminuir. Las iteraciones deberían disminuir su alcance a lo largo del tiempo y pasar de grandes cambios en el enfoque a pequeños ajustes.  
• Aumentar la fidelidad. Es probable que las ideas se hagan más sofisticadas a medida que se solidifican. Una app originalmente diseñada en una hoja de papel A4 puede convertirse en un prototipo de cartón, luego en un boceto digital operativo, luego en un prototipo para teléfonos. Una estrategia de cambio social irá definiéndose mejor en cada sesión de trabajo con la comunidad y en cada pequeña implementación en comunidades piloto.   
• Aumentar la sensibilidad para los riesgos. El proceso iterativo puede revelar más áreas de riesgo. Es probable que aprenda más de los fracasos de sus esfuerzos que de los éxitos. La iteración puede develar capas de complejidad que no se detectaron durante la fase de diseño.  
• Medir y documentar el avance. Capte y registre cualquier ajuste que realice a fin de mejorar los efectos directos para referencia en el futuro. 

¿Una iteración es siempre la mejor respuesta?

La iteración puede aumentar la eficiencia, promover la colaboración, ayudar a identificar riesgos e, idealmente, conducir a estrategias indicadas, efectivas y apropiadas. No obstante, la iteración también tiene varios riesgos asociados.

1. Expectativas de donantes, colaboradores y colegas. La administración de proyectos tradicional depende de fases, presupuestos y resultados predecibles, lo que supone marcos temporales, finanzas y capacidad fijos. Para develar nuevas oportunidades y desafiar suposiciones, un proceso iterativo invita a que se produzcan demoras y cambios en el foco o el presupuesto. Estos pueden verse como fallas o deficiencias en el diseño y la supervisión tradicional de proyectos. Los donantes, colegas y colaboradores pueden tener expectativas más rígidas. Idealmente, la iteración debería ser planeada y contar con los recursos adecuados. Si no se manejan estas expectativas con anticipación, la iteración puede verse como ineficiente, inefectiva y costosa. 
2. Marcos temporales poco claros. No se puede predecir cuándo llegará a algo que funcione. Es difícil definir el grado de cambios, la duración de las pruebas y el tiempo que lleva abordar la retroalimentación. No saber cuándo detener la iteración también es un riesgo.   
3. Ampliación del alcance. El aprendizaje y la adaptación constantes son esenciales para la iteración. No obstante, esto puede revelar áreas, características, problemas y oportunidades que no esperaba cuando se estaba diseñando el programa. Un proyecto de desarrollo de capacidades puede, en última instancia, dar como resultado un cambio fundamental en el manejo de la supervisión en centros de salud para la comunidad. Una campaña de concientización puede conducir a la compresión de que, no importa cuánta sensibilización haya, no habrá cambios si el gobierno central no dispone de mejores recursos. 

El equipo central de programación adaptativa de UNICEF destaca los principios clave de la programación, que son condiciones previas para guiar este cambio en los programas. Dichos principios son los que siguen: 

• Una cultura institucional que facilite la experimentación, la innovación, la documentación y el aprendizaje que incentive al personal a construir el éxito, aprender del fracaso y compartir todas las perspectivas de forma igualitaria, sin miedo a la recriminación.  
• Apertura a un enfoque más iterativo para la planificación, implementación, supervisión y reflexión continuas y la voluntad y habilidad para ajustar los planes y las intervenciones en función de nuevas perspectivas y conocimientos, mientras se mantiene el foco en los efectos directos.  
• Compromiso para desarrollar una base de evidencia dinámica y viva, que incluya evidencia formal e informal, datos cuantitativos y cualitativos, historias, casos de estudio, ejemplos y aprendizajes, tomados tanto de evidencia generada por el programa, como de la base de evidencia mundial más amplia.  
• Un mayor énfasis en la supervisión en tiempo real del programa que facilite correcciones de curso, aprendizaje y conocimiento compartido de forma más oportuna. Todas las herramientas, la orientación y los sistemas que acompañan dichos cambios también deben mantenerse ágiles.  
   

Para ver una lista completa de los principios recomendados, consulte este documento de debate.

Casos de estudio y ejemplos

Supervisión durante el ciclo de vida del proyecto

• KENIA: Una colaboración entre WSUP, GAIN, Aqua for All, Unilever e Ideo para encontrar una solución a la falta de accesibilidad al agua potable que afecta al 39 % de los kenianos. El proyecto utilizó un proceso ágil de investigación de acción, diseño de prototipos, retroalimentación e iteración continuos para encontrar una solución que funcione para los grupos previstos en el campo y a nivel del sistema.
• KENIA Y ZAMBIA: Living Labs de PATH condujo un proceso iterativo con metodologías de diseño centrado en la persona y cocreativas para diseñar un plan de distribución de vacunas para la COVID-19, donde los trabajadores sanitarios de primera línea proporcionaban, en última instancia, el servicio. El equipo empleó el diseño de prototipo en la primera ronda de investigación y una encuesta en línea para reunir comentarios sobre el diseño de la etiqueta. Luego utilizaron grupos focales para probar una iteración con envoltorios y viales de mayor fidelidad. Más adelante, los trabajadores sanitarios priorizaron los hallazgos de este esfuerzo. Desarrollaron un sistema de etiquetado y envoltorio modelo universal que apoyara la entrega efectiva del servicio cuando el envoltorio no estuviera inmediatamente disponible o faltaran folletos informativos. 

Evaluación del impacto posterior a la implementación

• MUNDIAL: El programa de inclusión digital del ACNUR probó la viabilidad de hacer participar a las comunidades a través de WhatsApp, una plataforma de mensajería clave para muchas comunidades en diferentes culturas, a fin de abordar los riesgos de privacidad de las comunicaciones digitales.  En colaboración con Praekelt y su producto Turn.io, que facilita programas educativos de gran escala a través de WhatsApp, diseñaron una fase piloto para evaluar los riesgos digitales y las cuestiones de protección de datos de este medio. El ACNUR ha publicado su informe, junto con recomendaciones sobre cómo las organizaciones humanitarias pueden utilizar aplicaciones de mensajería para interactuar con personas afectadas por crisis.

Incorporación de los cambios de comportamiento a su solución

• TANZANIA: El programa Twaweza ofrece a mujeres adolescentes un programa para mejorar la salud e higiene menstrual mediante la entrega de “Femme Kits” que contienen su elección de productos sanitarios, los cuales pueden ser toallas femeninas lavables o una copa menstrual. El programa aspira a mejorar la asistencia escolar al ayudar a quienes no tienen acceso a métodos higiénicos sostenibles para el manejo de la menstruación a salir de sus casas con seguridad. El Informe de impacto describe un 70 % de aceptación de las copas menstruales y una disminución del 20 % en el uso de toallas femeninas de tela, lo que demuestra el impacto del programa en las elecciones de las adolescentes. La implementación de este servicio está diseñada con un mecanismo que responde a los cambios en los comportamientos que el programa se dispuso a lograr. La creación de un espacio para la iteración al final del marco temporal del proyecto facilitó que el programa proporcionara los productos correctos, en el momento correcto, lo que propició el enorme éxito.

Recursos clave (Solo disponible en inglés)

    ➔   Documento de debate de UNICEF:   Desarrollo de un enfoque sistemático de programación adaptativa para apoyar el Plan Estratégico 2022-2025 de UNICEF  
    ➔   Adaptive Management: Learning and Action Approaches to Implementing Norms-shifting Interventions 
    ➔   Una herramienta para el diseño de prototipos y retroalimentación y una herramienta de prueba piloto e iteración de DCP de UNICEF para la atención médica   
    ➔   Una actividad de diseño de prototipos en 90 minutos de Hyper Island, parte de su conjunto de herramientas para la innovación de acceso abierto