Cada vez más investigadores incorporan distintos mecanismos de participación en el diseño de sistemas de inteligencia artificial, pero estos mecanismos no siempre logran su objetivo. Cualquier colaboración de diseño debe ser reconocida, mantenerse a largo plazo y revaluarse en función de cada cambio y error.

Gracias a activistas y organizadores sociales, la comunidad de investigación de la inteligencia artificial (IA) empieza a ser consciente de que el aprendizaje automático puede causar un daño desproporcionado sobre grupos ya oprimidos y desfavorecidos.  Por eso, investigadores y especialistas en aprendizaje automático están buscando formas de que la IA sea más justa, responsable y transparente, y desde hace poco, también más participativa.

Una de las ponencias más interesantes y con mayor asistencia de la Conferencia Internacional sobre Aprendizaje Automático que tuvo lugar en julio ha sido la titulada Enfoques participativos en el aprendizaje automático. Este taller aprovechó el afán de la comunidad de construir sistemas algorítmicos más democráticos, cooperativos y equitativos mediante la incorporación de métodos participativos en su diseño. Dichos métodos incorporan al proceso de diseño a quienes interactúan con un sistema algorítmico y se ven afectados por él, por ejemplo, al personal de enfermería y médicos que ayudan a desarrollar una herramienta de detección de sepsis.

Se trata de una intervención muy necesaria en el campo del aprendizaje automático, que actualmente podría ser demasiado jerárquico y homogéneo. Pero no es una solución milagrosa: de hecho, el “participation-washing o el blanqueo de la participación” podría convertirse en la próxima moda peligrosa del campo. Eso es lo que mis compañeros coautores Emanuel Moss, Olaitan Awomolo y Laura Forlano y yo defendemos en nuestro reciente artículo La participación no es una solución de diseño para el aprendizaje automático.

Pasar por alto los patrones de opresión y privilegios sistémicos que hay en la sociedad conduce a sistemas de aprendizaje automático irresponsables y profundamente opacos e injustos. Estos modelos llevan invadiendo el campo en los últimos 30 años. Mientras tanto, la sociedad ha ido viendo un crecimiento exponencial de la desigualdad de la riqueza y del cambio climático provocado por los combustibles fósiles. Estos problemas tienen sus raíces en una dinámica clave del capitalismo: la extracción. La participación también se basa a menudo en la misma lógica extractiva, especialmente cuando se trata de aprendizaje automático.

La participación no es gratis

Comencemos con esta observación: la participación ya representa una gran parte del aprendizaje automático, pero de una manera problemática, como por ejemplo la participación en forma de trabajo.

Independientemente de que su trabajo se reconozca o no, muchos participantes desempeñan un papel importante en la creación de los datos que se utilizan para entrenar y evaluar modelos de aprendizaje automático. Las fotos que alguien tomó y publicó se extraen de la web, y empleados con salarios bajos en las plataformas como Amazon Mechanical Turk las catalogan para convertirlas en datos de entrenamiento.

Los usuarios habituales de esta página web también hacen lo mismo al completar un reCAPTCHA. Y hay muchos ejemplos de lo que se conoce como trabajo fantasma, el término que la antropóloga Mary Gray utiliza para referirse a cualquier labor entre bastidores que ayuda a que sistemas aparentemente automatizados funcionen. Gran parte de esta participación no está recompensada de forma justa y, en muchos casos, apenas se reconoce.

La participación por consulta, por otro lado, es una nueva tendencia en los campos como el diseño urbano y, cada vez más, también en el aprendizaje automático. Pero la efectividad de este enfoque es limitada. Generalmente es de corta duración y carece de un plan para establecer asociaciones significativas a largo plazo. Las preocupaciones por la propiedad intelectual dificultan un verdadero análisis de estas herramientas. Como resultado, esta forma de participación es a menudo meramente conceptual.

Más prometedora es la idea de participación como justicia. En este caso, todos los miembros del proceso de diseño colaboran de forma estrecha y con una comunicación frecuente. Se trata de un compromiso a largo plazo centrado en diseñar productos por personas de diversos contextos y comunidades, incluida la de las personas con discapacidad, que durante mucho tiempo ha desempeñado un papel de liderazgo en esta modalidad. Este concepto tiene importancia social y política, pero las estructuras del mercado capitalista influyen en que sea casi imposible implementarlo bien.

El aprendizaje automático amplía las prioridades generales de la industria tecnológica, centradas en la escala y en la extracción. Eso significa que el aprendizaje automático participativo es, por ahora, un oxímoron. De forma predeterminada, la mayoría de los sistemas de aprendizaje automático tienen la capacidad de vigilar, oprimir y coaccionar (incluso en el lugar de trabajo). Estos sistemas también cuentan con distintas formas de lograr consentimiento, por ejemplo, al exigir a los usuarios que acepten los sistemas de vigilancia para poder usar ciertas tecnologías, o al implementar configuraciones predeterminadas que no les impiden ejercer su derecho a la privacidad.

Teniendo todo eso en cuenta, no es de extrañar que el aprendizaje automático no consiga superar la dinámica de poder existente y adopte un enfoque extractivo de la colaboración. Si no tenemos cuidado, el aprendizaje automático participativo podría seguir el camino de la ética de la IA y convertirse en una moda más que se utiliza para legitimar la injusticia.

Una estrategia mejor

¿Cómo podemos evitar estos peligros? No hay una respuesta sencilla. Pero presentamos cuatro sugerencias:

1. Reconocer la participación en forma de trabajo. Muchas personas ya utilizan sistemas de aprendizaje automático en su día a día. Gran parte de este trabajo mantiene y mejora estos sistemas y, por lo tanto, es valioso para los propietarios de los sistemas. Para reconocerlo, a todos los usuarios se les debe solicitar su consentimiento y facilitarles una vía para no formar parte de algún sistema. Si optan por participar, se les debe ofrecer una compensación. Así también se aclararía cuándo y cómo se usarán los datos generados por el comportamiento de un usuario con fines de entrenamiento (por ejemplo, a través de un banner en Google Maps o una notificación de aceptación). También significaría proporcionar el apoyo adecuado para los moderadores de contenido, compensar de manera justa a los trabajadores fantasmas y desarrollar sistemas de retribución monetaria o no para compensar a los usuarios por sus datos y por su trabajo.

2. Especificar el contexto de la participación. En vez de intentar utilizar un enfoque único, los tecnólogos deben ser conscientes de los contextos específicos en los que operan. Por ejemplo, al diseñar un sistema para predecir la violencia juvenil y de pandillas, deberían reevaluar continuamente las formas en las que se basan en la experiencia vivida y los conocimientos en ese ámbito, y colaborar con las personas para las que diseñan. Esto es especialmente importante ya que el contexto de un proyecto cambia con el tiempo. Documentar incluso los pequeños cambios en el proceso y en el contexto puede formar una base de conocimientos para una participación efectiva a largo plazo. Por ejemplo, ¿se debe consultar solo a los médicos en el diseño de un sistema de aprendizaje automático para la atención clínica, o también se debe incluir el personal de enfermería y los pacientes? Dejar en claro por qué y cómo participaron determinadas comunidades hace que tales decisiones y relaciones sean transparentes, responsables y procesables.

3. Planificar la participación a largo plazo desde el principio. Es más probable que las personas sigan participando en los procesos a lo largo del tiempo si pueden compartir y adquirir conocimientos, en vez de que el mismo se les extraiga. Esto puede ser difícil de lograr en el aprendizaje automático, particularmente para los casos de diseño propio. Vale la pena reconocer las tensiones que complican la participación a largo plazo en el aprendizaje automático y reconocer que la cooperación y la justicia no escalan sin fricciones. Estos valores requieren un mantenimiento constante y deben articularse de forma repetida en nuevos contextos.

4. Aprender de los errores del pasado. Se puede provocar más daño replicando las formas de pensar que dieron lugar a una tecnología dañina. Nosotros, como investigadores, debemos mejorar nuestra capacidad de pensamiento lateral en todas las aplicaciones y profesiones. Para lograrlo, la comunidad de diseño y aprendizaje automático podría desarrollar una base de datos para realizar búsquedas y resaltar los errores en la participación de diseño (como el proyecto del paseo marítimo de Sidewalk Labs en Toronto, Canadá). Estos fracasos podrían tener referencias cruzadas con conceptos socioestructurales (como cuestiones relativas a la desigualdad racial). Esta base de datos debe cubrir los proyectos de diseño en todos los sectores y ámbitos, no solo los de aprendizaje automático, y reconocer explícitamente las carencias y los valores atípicos. Estos casos extremos son a menudo de los que podemos aprender más.

Resulta fascinante ver que la comunidad de aprendizaje automático empieza a prestar atención a las cuestiones de justicia y equidad. Pero las respuestas no deberían basarse únicamente en la participación. El deseo de una bala de plata ha invadido a la comunidad tecnológica durante demasiado tiempo. Es hora de aceptar la complejidad que conlleva desafiar la lógica capitalista extractiva del aprendizaje automático.

*Mona Sloane es socióloga de la Universidad de Nueva York (EE. UU.) especializada en la desigualdad del diseño en el contexto del diseño y la política de IA.

Fuente: MIT Technology Review