Prejuicios y computadoras

Por Martín Bonfil Olivera

Dirección General de Divulgación de la Ciencia, UNAM
Publicado en Milenio Diario, 23 de abril de 2017

Todos tenemos prejuicios. Algunos los reconocemos abiertamente; otros los negamos, o incluso no somos conscientes de tenerlos. Como sociedad, queremos combatirlos; como individuos, somos buenos para detectar y criticar los prejuicios de los demás, pero nos resistimos a reconocer los que tenemos, o somos incapaces de verlos.

¿De dónde surgen los prejuicios? En algunos casos, como los de gente que abiertamente reconocer ser racista o machista, parecieran ser producto de elecciones conscientes y racionales. Pero también es muy probable, sobre todo en los prejuicios inconscientes, que en ellos influyan la educación, la cultura y el entorno social, además de las experiencias personales.

Una de las ideas que forman parte de la cultura del combate a los prejuicios y la discriminación es que el lenguaje puede ser una herramienta para fomentar, o bien combatir, los prejuicios. De ahí las campañas, por ejemplo, de uso de lenguaje inclusivo para luchar contra los prejuicios de género.

Pero, ¿cómo podríamos saber de manera más objetiva si realmente existe una relación directa entre el lenguaje que usa un grupo social y los prejuicios que pueda tener? Uno pensaría que sólo las ciencias sociales podrían responder a esta pregunta, pero sorprendentemente hay desarrollos recientes en las ciencias de la computación, y más específicamente en el área de la inteligencia artificial, que están proporcionando herramientas para contestarla, más allá de razonamientos de sentido común y ejemplos anecdóticos.

En 1998 se introdujo un método denominado IAT (Test de Asociación Implícita) para detectar las relaciones que una persona percibe entre ciertas palabras y conceptos. Consiste en presentar dos parejas de palabras en una computadora y medir el tiempo (en milisegundos) que el sujeto tarda en oprimir teclas para indicar si halla relación entre ellas. Así se pudo demostrar con claridad, por ejemplo, que los individuos tienden más a asociar nombres masculinos con ocupaciones profesionales y nombres femeninos con ocupaciones del hogar (aun cuando, al preguntársele, los sujetos nieguen tener prejuicios de género).

Porcentaje de mujeres
en distintas ocupaciones

En el número del 14 de abril de la revista Science un grupo de investigadores de la Universidad de Princeton, encabezado por Aylin Caliskan, publicó un artículo donde muestran que una computadora, analizando qué tan frecuentemente aparecen unas palabras en relación con otras en un cuerpo de textos, puede hallar exactamente las mismas correlaciones reveladoras de prejuicios que la prueba IAT.

Los especialistas en tecnologías de la información utilizaron algoritmos ya existentes que representan cada palabra, tomada de un vocabulario de 2.2 millones de vocablos extraídos de internet, como un vector de 300 “dimensiones semánticas” (el cual representa matemáticamente la relación entre cada palabra y otras palabras junto a las que aparece frecuentemente).

Caliskan y colaboradores generaron otro algoritmo, que denominaron WEAT (test de asociación por inmersión –embedding– de palabras) para analizar matemáticamente la correlación entre los vectores que representan a cada palabra (estudiando, de manera completamente matemática y abstracta, la correlación entre los cosenos de los vectores). Dicha correlación equivalente precisamente a los tiempos de reacción en la prueba IAT. Y lograron así “extraer” de la base de datos no sólo información, sino significado.

En particular, replicaron con exactitud los hallazgos, obtenidos previamente en estudios con el método IAT en sujetos humanos, de que el lenguaje lleva implícitos ciertos juicios. Algunos son éticamente neutros (“insecto” y “arma” se correlacionan con “desagradable”, mientras que “flor” e “instrumento musical” se correlacionan con “agradable”). Otros, en cambio, reflejan estereotipos indeseables (los nombres propios comunes en la población negra se correlacionan mucho más que los nombres comunes en la población blanca con el concepto de “campesino”; los nombres masculinos se asocian más con actividades profesionales y científicas, mientras que los femeninos se asocian más con actividades del hogar y artísticas). Finalmente, otras asociaciones simplemente reflejan hechos del mundo (por ejemplo, los nombres masculinos y femeninos se correlacionan con distintas profesiones de una manera que refleja el porcentaje real de hombres y mujeres que trabajan en dichas profesiones).

Lo asombroso es que el algoritmo puramente matemático de Caliskan y su grupo, partiendo simplemente de una base de datos de millones de palabras, logra saber que los grupos humanos tienen esos juicios (y prejuicios) sin que sea necesario estudiar a personas. La inteligencia artificial detrás del algoritmo, sin tener “experiencia directa del mundo” y sin tener una comprensión consciente del lenguaje, sabe las mismas cosas, incluyendo los prejuicios, que presentamos los seres humanos como producto de nuestra educación, experiencias y cultura.

Algoritmos como el de Caliskan pueden ser herramientas utilísimas en muchas áreas. Podría permitir estudiar, por ejemplo, los prejuicios y asociaciones de grupos humanos del pasado, siempre y cuando hayan dejado suficientes textos para analizar: una mina de oro para historiadores y para sociólogos y psicólogos del pasado. Pero también permitirá estudiar y aclarar preguntas como la de si los prejuicios incrustados en el lenguaje son causa o efecto de los prejuicios culturales de una sociedad. ¿Causan las palabras los comportamientos discriminatorios, o éstos surgen primero y se reflejan luego en el lenguaje?

El método también se podrá usar para estudiar los sesgos y prejuicios inherentes en los medios electrónicos y escritos dirigidos a distintas poblaciones, y entender mejor cómo influyen en fenómenos de polarización política, racial o ideológica.

Finalmente, y conforme las inteligencias artificiales se vayan desarrollando, métodos como el de Caliskan permitirán detectar y combatir –eliminando las correlaciones no deseables– los sesgos que pudieran contaminar sus juicios. ¡Lo último que queremos son futuras máquinas inteligentes que reflejen nuestros propios prejuicios!

Quizá, con el conocimiento generado gracias a métodos como éstos, un día podamos entender mejor las raíces de nuestros prejuicios, sobre todo los inconscientes, y comprendamos en qué grado somos o no culpables de tenerlos (o si son simplemente producto de la cultura en que vivimos). Y quizá sepamos mejor cómo combatirlos y evitar que se perpetúen.

¿Te gustó?

Compártelo en Twitter:

Compártelo en Facebook:

Compartir2218

Contacto: mbonfil@unam.mx

Para recibir La ciencia por gusto cada semana

por correo electrónico, ¡suscríbete aquí!