Los algoritmos pronto controlarán tu vida – y la arruinarán, si se entrenan incorrectamente
Los algoritmos pronto dominarán tu vida - y la arruinarán si son entrenados de forma incorrecta
Algo está sucediendo en el diseño de los modelos de IA en este momento que, a menos que se solucione pronto, puede tener consecuencias desastrosas para nosotros, los humanos, según un experimento reciente realizado por un equipo interuniversitario de científicos de la computación de la Universidad de Toronto (UoT) y el Instituto de Tecnología de Massachusetts (MIT).
Todos los modelos de IA necesitan ser entrenados con vastas cantidades de datos. Sin embargo, hay informes de que la forma en que se está haciendo esto es profundamente defectuosa.
También: La ética de la IA generativa: cómo podemos aprovechar esta poderosa tecnología
Echa un vistazo a tu alrededor y contempla las muchas formas importantes y menores en las que la IA ya se ha insinuado en tu existencia. Alexa te recuerda tus citas, los bots de salud diagnostican tu fatiga, los algoritmos de sentencia sugieren tiempo en prisión y muchas herramientas de IA ya han comenzado a evaluar préstamos financieros, por nombrar solo algunos ejemplos.
Imagina que dentro de una década prácticamente todo lo que hagas estará controlado por un algoritmo.
- Este panel solar impermeable EcoFlow de 160W se reduce de $1,199 a ...
- La linterna más brillante del mundo tiene un descuento del 20% para...
- Alerta de oferta del Cyber Monday el despertador Hatch Restore 2 co...
Entonces, cuando envíes tu solicitud para un alquiler de vivienda o un préstamo, o estés esperando ser seleccionado para un procedimiento quirúrgico o un trabajo para el que eres perfecto, y te rechazan una y otra vez, es posible que no sea simplemente una racha de mala suerte misteriosa y desafortunada.
En cambio, la causa de estos resultados negativos podría ser que la empresa detrás de los algoritmos de IA hizo un trabajo deficiente al entrenarlos.
Específicamente, como han destacado estos científicos (Aparna Balagopalan, David Madras, David H. Yang, Dylan Hadfield-Menell, Gillian Hadfield y Marzyeh Ghassemi) en su reciente artículo en Science, los sistemas de IA entrenados en datos descriptivos inevitablemente toman decisiones mucho más severas que las que tomarían los humanos.
A menos que se corrija, estos hallazgos sugieren que dichos sistemas de IA podrían causar estragos en áreas de toma de decisiones.
Desorientación en el entrenamiento
En un proyecto anterior que se centró en cómo los modelos de IA justifican sus predicciones, los científicos antes mencionados descubrieron que los humanos en el estudio a veces daban respuestas diferentes cuando se les pedía asignar etiquetas descriptivas versus normativas a los datos.
Las afirmaciones normativas son declaraciones que dicen directamente lo que debería o no debería ocurrir (“Debería estudiar mucho más para aprobar el examen”). Aquí hay un juicio de valor. Las afirmaciones descriptivas se centran en el “es” sin una opinión adjunta. (“La rosa es roja”).
También: La IA puede ser creativa y ética cuando se aplica humanamente
Esto desconcertó al equipo, por lo que decidieron investigar más a fondo con otro experimento. Esta vez reunieron cuatro conjuntos de datos diferentes para probar diferentes políticas.
Uno era un conjunto de datos de imágenes de perros utilizado para una regla hipotética de un apartamento que prohíbe la presencia de perros agresivos.
Luego, los científicos reunieron a un grupo de participantes de estudio para asignar etiquetas “descriptivas” o “normativas” a los datos en un proceso que refleja cómo se entrena a los datos.
Aquí es donde las cosas se pusieron interesantes.
A los etiquetadores descriptivos se les pidió que decidieran si ciertas características factuales estaban presentes o no, como si el perro era agresivo o descuidado. Si la respuesta era “sí”, entonces la regla se violaba esencialmente, pero los participantes no tenían idea de que esta regla existía al dar su opinión y, por lo tanto, no eran conscientes de que su respuesta eliminaría a un perro desafortunado del apartamento.
También: Las organizaciones están luchando por la adopción ética de la IA. Así es cómo puedes ayudar
Mientras tanto, a otro grupo de etiquetadores normativos se les informó sobre la política que prohíbe perros agresivos, y luego se les pidió que emitieran un juicio sobre cada imagen.
Resulta que los humanos son mucho menos propensos a etiquetar un objeto como una violación cuando son conscientes de una regla, y mucho más propensos a considerar a un perro como agresivo (aunque sin saberlo) cuando se les pide etiquetar cosas descriptivamente.
La diferencia no era pequeña. Los etiquetadores descriptivos (aquellos que no conocían la regla del apartamento pero se les pedía opinar sobre la agresividad) habían condenado involuntariamente a un 20% más de perros a la cárcel de perros que aquellos a quienes se les preguntaba si la misma imagen del perro violaba o no la regla del apartamento.
Caos de máquinas
Los resultados de este experimento tienen implicaciones serias para prácticamente todos los aspectos de cómo los humanos viven, especialmente si no perteneces a un subgrupo dominante.
Por ejemplo, considera los peligros de un “bucle de aprendizaje automático” donde se diseña un algoritmo para evaluar candidatos a Doctorado. El algoritmo se alimenta con miles de solicitudes anteriores y, bajo supervisión, aprende quiénes son los candidatos exitosos y quiénes no lo son.
Luego extrae lo que debería ser un candidato exitoso: calificaciones altas, procedencia de una universidad de prestigio y de raza blanca.
También: Elon Musk’s new AI bot has an attitude – but only for these X subscribers
El algoritmo no es racista, pero los datos que se le han proporcionado están sesgados de tal manera que perpetúan aún más la misma visión distorsionada “en la cual, por ejemplo, las personas pobres tienen menos acceso a crédito porque son pobres; y porque tienen menos acceso a crédito, siguen siendo pobres”, dice el erudito legal Francisco de Abreu Duarte.
Hoy en día, este problema está presente en todas partes.
Por ejemplo, ProPublica ha informado sobre cómo un algoritmo ampliamente utilizado en Estados Unidos para sentenciar a acusados elegiría falsamente a los acusados negros como los más propensos a reincidir, casi al doble de la tasa de los acusados blancos, a pesar de que todas las pruebas indicaban lo contrario tanto en el momento de la sentencia como en los años siguientes.
Hace cinco años, la investigadora del MIT Joy Buolamwini expuso cómo los algoritmos del laboratorio de la universidad, que se utilizan a nivel global, no podían detectar un rostro negro, incluso el suyo. Esto cambió solo cuando se puso una máscara blanca.
También: AI at the edge: Fast times ahead for 5G and the Internet of Things
Otros sesgos, como los de género, etnia o edad, son frecuentes en la IA, pero hay una gran diferencia que los hace aún más peligrosos que el juicio sesgado humano.
“Creo que la mayoría de los investigadores de inteligencia artificial/aprendizaje automático asumen que los juicios humanos en los datos y etiquetas están sesgados, pero este resultado está diciendo algo peor”, dice Marzyeh Ghassemi, profesora asistente en el MIT en Ingeniería Eléctrica y Ciencias de la Computación e Instituto de Ingeniería y Ciencias Médicas.
“Estos modelos ni siquiera están reproduciendo juicios humanos ya sesgados porque los datos en los que se están entrenando tienen un defecto: los humanos etiquetarían las características de las imágenes y el texto de manera diferente si supieran que esas características se utilizarían para un juicio”, agrega.
De hecho, están emitiendo veredictos mucho peores que los sesgos sociales existentes, lo que convierte al proceso relativamente rudimentario de etiquetado de conjuntos de datos de IA en una bomba de tiempo si se realiza de manera incorrecta.
