UNESCO
Challenging systematic prejudices : An investigation into bias against women and girls in large language models / UNESCO ; International Research Centre on Artificial Intelligence (IRCAI) .-- París : UNESCO 2024 .-- 22 p. ; 1 documento PDF
El informe examina los estereotipos en los grandes modelos de lenguaje (LLM, por sus siglas en inglés), definidos como herramientas de procesamiento de lenguaje natural que sustentan plataformas populares de inteligencia artificial (IA) generativa. Estas nuevas aplicaciones de IA tienen el poder de moldear sutilmente las percepciones de millones de personas, por lo que incluso pequeños sesgos de género en su contenido pueden amplificar significativamente las desigualdades en el mundo real.
El estudio explora los sesgos en tres LLM significativos: GPT-2 y ChatGPT de OpenAI, junto con Llama 2 de Meta, destacando su papel tanto en sistemas avanzados de toma de decisiones como en agentes conversacionales de cara al usuario. A través de múltiples estudios, el documento revela cómo los prejuicios emergen en el texto generado por los grandes modelos de lenguaje, a través de asociaciones de palabras de género, la consideración positiva o negativa de los sujetos de género, o la diversidad en el texto generado por el género y la cultura.
Los resultados muestran evidencias de la existencia de sesgo contra las mujeres en el contenido generado por cada uno de estos grandes modelos de lenguaje, así como actitudes homofóbicas y estereotipos raciales. Los grandes modelos de lenguaje de código abierto como Llama 2 y GPT-2 –valorados porque son gratuitos y accesibles para un público amplio– exhibieron el sesgo de género más significativo. Sin embargo, el estudio también concluye que su naturaleza abierta y transparente puede ser una gran ventaja para abordar y mitigar esta tendencia a través de una mayor colaboración en la comunidad de investigación global, en comparación con modelos más cerrados, que incluyen GPT 3.5 y 4 (la base para ChatGPT) y Gemini de Google. El informe revela que los esfuerzos para hacer frente a la IA sesgada deben aplacar esta diferenciación cuando se origina en el ciclo de desarrollo de la tecnología, pero también mitigar el daño en el contexto de su aplicación. Esta visión no sólo requiere la participación de múltiples partes interesadas, sino también un enfoque más equitativo y responsable del desarrollo y el despliegue de la IA en general.
Mujeres digitales
Inteligencia Artificial
brecha digital
brecha de género
IA
LLM
large language models
modelos grandes de lenguaje
ChatGPT
Gemini
Llama
sesgos
homofobia
racismo
machismo
van Niekerk, Daniel
Pérez-Ortiz, María
Shawe-Taylor, John
Orlič, Davor
Drobnjak, Ivana
Kay, Jackie
Siegel, Noah
Evans, Katherine
Moorosi, Nyalleng
Eliassi-Rad, Tina
Maria Tanczer, Leonie
Holmes, Wayne
Deisenroth, Marc Peter
Straw, Isabel
Fasli, Maria
Adams, Rachel
Oliver, Nuria
Mladenić, Dunja
Aneja, Urvashi
Janickyj, Madeleine
International Research Centre on Artificial Intelligence IRCAI
Challenging systematic prejudices : An investigation into bias against women and girls in large language models / UNESCO ; International Research Centre on Artificial Intelligence (IRCAI) .-- París : UNESCO 2024 .-- 22 p. ; 1 documento PDF
El informe examina los estereotipos en los grandes modelos de lenguaje (LLM, por sus siglas en inglés), definidos como herramientas de procesamiento de lenguaje natural que sustentan plataformas populares de inteligencia artificial (IA) generativa. Estas nuevas aplicaciones de IA tienen el poder de moldear sutilmente las percepciones de millones de personas, por lo que incluso pequeños sesgos de género en su contenido pueden amplificar significativamente las desigualdades en el mundo real.
El estudio explora los sesgos en tres LLM significativos: GPT-2 y ChatGPT de OpenAI, junto con Llama 2 de Meta, destacando su papel tanto en sistemas avanzados de toma de decisiones como en agentes conversacionales de cara al usuario. A través de múltiples estudios, el documento revela cómo los prejuicios emergen en el texto generado por los grandes modelos de lenguaje, a través de asociaciones de palabras de género, la consideración positiva o negativa de los sujetos de género, o la diversidad en el texto generado por el género y la cultura.
Los resultados muestran evidencias de la existencia de sesgo contra las mujeres en el contenido generado por cada uno de estos grandes modelos de lenguaje, así como actitudes homofóbicas y estereotipos raciales. Los grandes modelos de lenguaje de código abierto como Llama 2 y GPT-2 –valorados porque son gratuitos y accesibles para un público amplio– exhibieron el sesgo de género más significativo. Sin embargo, el estudio también concluye que su naturaleza abierta y transparente puede ser una gran ventaja para abordar y mitigar esta tendencia a través de una mayor colaboración en la comunidad de investigación global, en comparación con modelos más cerrados, que incluyen GPT 3.5 y 4 (la base para ChatGPT) y Gemini de Google. El informe revela que los esfuerzos para hacer frente a la IA sesgada deben aplacar esta diferenciación cuando se origina en el ciclo de desarrollo de la tecnología, pero también mitigar el daño en el contexto de su aplicación. Esta visión no sólo requiere la participación de múltiples partes interesadas, sino también un enfoque más equitativo y responsable del desarrollo y el despliegue de la IA en general.
Mujeres digitales
Inteligencia Artificial
brecha digital
brecha de género
IA
LLM
large language models
modelos grandes de lenguaje
ChatGPT
Gemini
Llama
sesgos
homofobia
racismo
machismo
van Niekerk, Daniel
Pérez-Ortiz, María
Shawe-Taylor, John
Orlič, Davor
Drobnjak, Ivana
Kay, Jackie
Siegel, Noah
Evans, Katherine
Moorosi, Nyalleng
Eliassi-Rad, Tina
Maria Tanczer, Leonie
Holmes, Wayne
Deisenroth, Marc Peter
Straw, Isabel
Fasli, Maria
Adams, Rachel
Oliver, Nuria
Mladenić, Dunja
Aneja, Urvashi
Janickyj, Madeleine
International Research Centre on Artificial Intelligence IRCAI