IA & Equidad Latino America

Menu
Donate

Ciclo de vida de la IA

Basándonos en nuestro enfoque basado en los derechos humanos, investigamos y exploramos cuestiones en cada fase del ciclo de vida de la IA, centrándonos en la equidad y la eliminación de sesgos.

Los sistemas de Inteligencia Artificial a menudo han perjudicado o explotado a comunidades vulnerables, incluso cuando las intenciones eran buenas. Creemos que realizar un análisis crítico durante y después del desarrollo de la IA ayudará a los desarrolladores de estos sistemas a considerar las mejores prácticas desde el principio, incluyendo una mayor participación de las comunidades afectadas. Es probable que un enfoque basado en los derechos humanos dé lugar a soluciones más sostenibles que tengan un impacto positivo en las comunidades a las que están destinadas.

Basamos este enfoque en preguntas reflexivas que denominamos preguntas esenciales a lo largo del ciclo de vida de la IA, utilizando el proceso para pasar de la identificación de un problema social a la solución técnica que aborda ese problema.

En nuestra metodología distinguimos las siguientes seis etapas del ciclo de vida:

Etapas del ciclo de vida de la IA

Breve resumen de las seis etapas, así como algunas de las preguntas esenciales que los creadores de IA deben plantearse en cada etapa.

Etapa 1a.
Definición de objetivos

El primer paso esencial es reflexionar sobre el objetivo y la finalidad de la creación de un sistema. A menudo, la visión de cómo debería ser la IA y a quién debería apoyar solo refleja las necesidades de las personas que están en el poder, en lugar de las necesidades de las comunidades a las que prestará servicio y afectará. Para remediar este problema, es esencial el desarrollo participativo con las comunidades afectadas desde el principio del proceso.

  • ¿Cómo se puede incluir a las comunidades afectadas en el proceso de diseño?
Etapa 1b.
Composición del equipo

Son muchas las personas que participan en la creación y el funcionamiento de un sistema de IA, ¡y no solo las que escriben el código! Su objetivo determinará fundamentalmente la composición del equipo necesario para crear el sistema que lo cumpla. Esto incluye las habilidades y los conocimientos necesarios, pero también la diversidad de sus miembros en cuanto a antecedentes, perspectivas y experiencias con el entorno para el que se desarrolla el sistema.

  • ¿El equipo es diverso en cuanto a sus experiencias vividas (cultura y demografía)?
Etapa 2.
Requerimientos del sistema

En esta etapa, el objetivo del sistema se formaliza en una lista de requisitos. La lista de requisitos del sistema debe elaborarse en diálogo con otras funciones para garantizar que el sistema sea viable (por ejemplo, el equipo de desarrolladores). A menudo, el diálogo con las distintas comunidades y funciones incluye prototipos sin código para comunicar ideas, como bocetos, esquemas u otros prototipos.

El proceso de definición de los requisitos del sistema debe ser iterativo y fluido; es muy probable que la lista de requisitos cambie a medida que se conozcan más detalles sobre el contexto y las necesidades de las comunidades afectadas.

 

  • Consideraciones sobre la inclusión: ¿Han sido confirmados los requisitos por una amplia gama de partes interesadas, incluidas las comunidades afectadas

  • Consideraciones sobre la explicabilidad: ¿Se pueden explicar los mecanismos básicos del algoritmo sin utilizar términos técnicos

  • Consideraciones sobre la rendición de cuentas: ¿Cuál es la estructura de rendición de cuentas

  • ¿Qué tipo de supervisión humana se debe buscar

  • ¿Qué conocimientos especializados o formación se requerirán para el circuito humano?

Etapa 3.
Descubrimiento de datos

En este paso, los desarrolladores reflexionan sobre si sus datos son representativos de su caso de uso y contexto. El conjunto de datos puede ser (y a menudo lo es) la primera vía por la que el sesgo entra en el sistema. Para evitarlo, es esencial garantizar que el conjunto de datos se ajuste bien al contexto de aplicación previsto, por ejemplo, en lo que respecta a factores demográficos, culturales o ambientales.

Se debe consultar a expertos en la materia para garantizar que el conjunto de datos refleje correctamente el contexto de aplicación. Se deben seguir sus recomendaciones sobre la recopilación de datos nuevos o adicionales, así como sobre los métodos matemáticos para equilibrar el conjunto de datos.

  • ¿Quién recopiló los datos y con qué fin?

  • ¿Qué pasos de preprocesamiento de datos son necesarios para crear un modelo «justo» en este contexto?

  • ¿Qué sesgos históricos/actuales en los datos podrían comprometer los derechos humanos?
Etapa 4.
Selección y desarrollo del modelo

Antes de desarrollar el modelo, es importante considerar qué tipo de modelo de IA es el más adecuado para satisfacer los requisitos del sistema. No siempre el algoritmo de aprendizaje profundo más complicado es el más adecuado para un contexto determinado. Se trata más bien de elegir el modelo más adecuado para el ámbito requerido, gestionando al mismo tiempo las compensaciones.

El desarrollo del modelo en sí mismo debe considerarse un proceso iterativo. En esta etapa, es importante revisar la recopilación de datos para garantizar que haya una buena correspondencia entre los datos, lo que se pretende modelar y el modelo real elegido. Este proceso también se observa en la etapa de prueba, en la que el modelo se prueba con respecto al objetivo y luego se mejora de forma iterativa hasta que cumple con los parámetros de éxito.

  • Consideraciones éticas del modelo:
    • ¿Qué tipo de modelo es más útil para este objetivo?

    • ¿Puede este tipo de modelo garantizar la equidad de una manera adecuada para el contexto?

  • Explicabilidad y transparencia
    • ¿Puede el modelo alertar al usuario si se enfrenta a una instancia fuera del alcance de sus datos de entrenamiento?
Etapa 5.
Testeo e interpretación de resultados

Una vez desarrollado el modelo, debemos comprobar si cumple los requisitos del sistema definidos en la etapa 3. Para algunas métricas, esto puede hacerse mediante pruebas técnicas, mientras que otras requieren la opinión de las partes interesadas, por ejemplo, si se ha logrado el nivel de explicabilidad previsto para el usuario final.

Es importante situar a las comunidades afectadas en el centro de la evaluación. En esta etapa, la participación tiene por objeto evaluar si los requisitos definidos en la etapa 3 se cumplen o respetan adecuadamente. Dado que las partes afectadas han participado a lo largo de todo el proyecto, esta etapa puede entenderse como su «aprobación» final de las necesidades y las medidas de mitigación de riesgos identificadas y abordadas a lo largo del proceso de desarrollo.

Los conocimientos adquiridos en la etapa de pruebas deben servir de base para un «manual» que se entregará a los futuros operadores y en el que se definirán los contextos en los que se espera que el sistema funcione bien, así como las situaciones en las que se espera que el sistema funcione mal.

  • ¿Qué métricas de rendimiento del modelo se están probando y por qué se eligieron esas métricas?

  • ¿Cuánta supervisión humana se requiere y por parte de un supervisor con qué nivel de experiencia?

Etapa 6.
Despliegue, implementación y monitoreo

Implementación

La etapa de implementación es como una última verificación de cordura, es decir, si se han considerado, comunicado y tenido en cuenta todos los daños, impactos discriminatorios y consecuencias. Recomendamos realizar una evaluación exhaustiva del impacto sobre los derechos humanos para garantizar que se haya evaluado el impacto negativo del sistema sobre los derechos humanos en su forma final.

Es fundamental que los operadores y las comunidades más afectadas puedan alertar sobre los problemas que experimentan en relación con el sistema. La decisión sobre si el sistema está listo para ser implementado es muy importante. Recomendamos recabar las opiniones de las comunidades afectadas sobre la preparación del sistema; al fin y al cabo, son ellas las que tienen que soportar las consecuencias de un funcionamiento defectuoso.

Después de la implementación

Inmediatamente después de la implementación, el sistema debe ser auditado periódicamente, incluyendo oportunidades para que las comunidades afectadas proporcionen comentarios. El sistema implementado puede exponer retos o problemas previamente desconocidos que deben ser detectados.

Por último, asegúrese de que el sistema cumpla con las regulaciones y directrices pertinentes, como el RGPD, la CCPA, la nueva Ley de IA de la UE o las normas específicas del sector.

  • Implementación:
    • ¿Quién decide que el modelo está listo para ser implementado?

    • ¿Ha realizado una evaluación del impacto sobre los derechos humanos en la que se conozca el funcionamiento completo del modelo? ¿Cuáles son las mejores prácticas disponibles?

  • Después de la implementación:
    • ¿Existen procesos que permitan a los operadores alertar sobre posibles inexactitudes del sistema?

    • ¿Qué le alerta si el objetivo pierde su finalidad? ¿Cómo sabría si es el momento de retirar el sistema?

Estamos creando una comunidad global que reúne a personas apasionadas por la IA inclusiva y basada en los derechos humanos.

Únete a nuestra comunidad AI & Equality de estudiantes, académicos, científicos de datos y profesionales de la IA que creen en una IA responsable y justa.

Únete