S01-05 10

Análisis de textos generados con chatbots de inteligencia artificial desde una perspectiva de género: ¿reflejo de una sociedad estereotipada? (proyecto LOVELACE)

Compartir en TWITTER/FACEBOOK/LINKEDIN

Deja tu comentario

Participa en esta ponencia enviádole tu pregunta o comentario a los autores

Añadir comentario

Firmantes

profile avatar
Irene Carrillo MurciaUniversidad Miguel Hernández de Elche
profile avatar
Mercedes Guilabert MoraUniversidad Miguel Hernández
profile avatar
Maria Asuncion Vicente RipollUniversidad Miguel Hernández
profile avatar
César Fernández PerisUniversidad Miguel Hernández

Enfoque

Introducción. En las dos últimas décadas se ha producido un avance exponencial en la inteligencia artificial (IA). Desde la llegada de ChatGPT (2022), los chatbots de IA han revolucionado la forma de generar contenidos en una sociedad cada vez más orientada y mediada por el contenido digital. Hoy en día, existen multitud de chatbots que simulan conversaciones humanas, respondiendo a preguntas y realizando tareas automatizadas mediante texto o voz en diversos contextos y plataformas. En España, alrededor de 4 millones de personas utilizan ChatGPT mensualmente. Las aplicaciones y los beneficios de estas plataformas son infinitos y cada vez más difícilmente discutibles. Sin embargo, la calidad y veracidad de la información no siempre está garantizada ya que su principal fuente de datos es internet.

Objetivo. Analizar el contenido textual generado por los chatbots de IA desde la perspectiva de género.

Metodología. A partir de la revisión de la literatura científica, se elaboraron prompts (entradas o instrucciones) en los que se solicitaba la elaboración de un caso hipotético de accidente de tráfico desde la perspectiva de una persona dedicada a la docencia universitaria en derecho civil en una universidad española. Como parte del contexto de la instrucción, se incluyó información sobre el estado de la vía y el grado de responsabilidad o el estilo de conducción de las partes implicadas en el accidente. Además, se solicitó la caracterización del comportamiento y las variables sociodemográficas (sexo, edad, etnia y ocupación) de las personas involucradas en el accidente. En mayo de 2024, nueve prompts con variaciones en las variables contextuales fueron utilizados en ChatGPT-4.

Resultados. Se analizaron 9 casos con dos parejas de conductores (18 protagonistas). Sin dar ninguna indicación sobre la distribución por sexo, en todas las situaciones la pareja estaba formada por una mujer y un hombre. En las cinco situaciones en las que se describía un comportamiento agresivo o negligente al volante, quienes mostraron ese estilo de conducción eran hombres. La conducción de riesgo por defecto de velocidad (n = 2) se asoció a ambos sexos de forma equitativa. De las ocho personas con un estilo de conducción seguro, el 75% fueron mujeres. Del total de mujeres, el 33,3% fueron abogadas y el 22,2% contables, docentes e ingenieras. En cambio, el 44,4% de los hombres fueron ingenieros, el 22,2% abogados y comerciales y el 11,1% contables. De los seis ingenieros, el 66,7% fueron hombres. Ningún hombre fue docente y ninguna mujer comercial. En la mayoría de los casos, la conducción de riesgo correspondió a persona de menor edad (solía ser hombre).

Conclusiones. El contenido generado por ChatGPT-4 incluyó información con sesgo de género basada en estereotipos referidos a los estilos de conducción e intereses profesionales de mujeres y hombres. El debate sobre la adecuación de estos contenidos atendiendo a su grado de ajuste a la realidad social merece una reflexión profunda. ¿Queremos que la IA refleje la sociedad desigual en la que vivimos o contribuya al cambio? Si realmente es inteligente, la respuesta debería ser inequívoca.

Preguntas y comentarios al autor/es

    • profile avatar

      Juan José Lorenzo Castiñeiras

      Comentó el 26/07/2024 a las 11:39:37

      Buenos días, muchas gracias por vuestra interesante propuesta y la calidad de la presentación. El debate acerca de la utilización de datos históricos, siempre cargados de estereotipos de género, es fundamental para el potencial uso de la IA, hay literatura que apunta a la necesidad de ponderar los datos más actuales o simplemente reducir las series históricas para reducir los sesgos. A mayores de vuestra interesante propuesta de continuación con el trabajo en el futuro haciendo mayor hincapié en la igualdad de genero, ¿se os ocurren otras posibilidades con las que trabajar los sesgos de género en chatGPT? Muchas gracias

      • profile avatar

        Irene Carrillo Murcia

        Comentó el 27/07/2024 a las 22:46:11

        Estimado Juan José:
        Muchas gracias por tu aportación y pregunta. Me parecen muy interesantes las propuestas que planteas en relación con ponderar los datos más actuales o reducir las series históricas. Aun con ello, creo que los datos procedentes de fuentes menos científicas y técnicas, como por ejemplo redes sociales, aunque actuales, pueden seguir introduciendo sesgos importantes en materia de igualdad. En cuanto a tu pregunta, además de las opciones ya descritas en otros comentarios (ingeniería de prompts, alfabetización en IA y lenguaje inclusivo, GPT personalizados, etc.), creo que, al igual que se han desarrollado y consensuado protocolos de búsqueda para la realización de revisiones sistemáticas en bases de datos científicas y checklists para la evaluación de la calidad metodológica, debemos pensar en diseñar recursos similares para el caso de ChatGPT pues es probable que, en el corto plazo, los chatbots de IA se conviertan en la principal herramienta de búsqueda de información para la población. Por tanto, sería conveniente trabajar en protocolos que definan metodologías de búsqueda y reporte de calidad con el fin de minimizar o anular la presencia de sesgos de género en los textos generados por los chatbots de IA.
        Muchas gracias.

    • profile avatar

      Andrea Fernández Sánchez

      Comentó el 25/07/2024 a las 23:40:20

      Buenas tardes compañeros/compañeras. Muchas gracias por vuestra ponencia, pues yo tambien trabajo con estudios de casos en mis clases y quería empezar a realizar prácticas con el alumnado. ¿Qué recomendaciones me podéis dar para el diseño de casos más inclusivos o que no perpetuen tanto los roles/sesgos de género?
      Gracias.

      • profile avatar

        Irene Carrillo Murcia

        Comentó el 26/07/2024 a las 09:21:36

        Estimada Andrea:
        Gracias por tu pregunta. Pensamos que es fundamental trabajar con el estudiantado de forma previa al uso de los chatbots para que sean sensibles a estas cuestiones y potenciar así su capacidad de pensamiento crítico. Que no den por válida cualquier información generada por una IA es un desafío prioritario en el ámbito de la educación. En esta línea, pensamos que es fundamental formar al estudiantado en la ingeniería de prompts. La IA no siempre interpreta nuestras instrucciones en la línea de lo deseado, por lo que es necesario realizar varias pruebas y entrenar a la herramienta con datos específicos para obtener la respuesta que buscamos. Por tanto, los prompts deben incluir instrucciones explícitas sobre el uso de un lenguaje no sexista e inclusivo y la generación de contenidos libres de estereotipos de géneros. Una opción para docentes es generar un GPT propio, previamente entrenado para este fin, y compartirlo con el estudiantado.

    • profile avatar

      Candela Méndez Arcila

      Comentó el 25/07/2024 a las 20:25:04

      Enhorabuena por la ponencia, resulta muy interesante plantearse qué tipo de instrucciones damos a las herramientas de IA para generar contenidos o plantear, en este caso, situaciones para un estudio o investigación. Me gustaría plantearos, como investigadores, ¿Qué recomendaciones, de forma generalizada, podrían darse en el ámbito de la investigación a la hora de generar textos digitales inclusivos? Muchas gracias.

      • profile avatar

        Irene Carrillo Murcia

        Comentó el 26/07/2024 a las 09:10:56

        Estimada Candela:
        Gracias por tu comentario y pregunta. La principal recomendación para la generación de textos inclusivos con chatbots de IA es realizar un entrenamiento previo de la herramienta alimentándola con datos sobre lenguaje no sexista e inclusivo y estereotipos de género. De esta forma es probable que se reduzca notablemente el porcentaje de sesgo de género presente en las respuestas. Por otro lado, algunos chatbots incorporan filtros más estrictos en sus algoritmos. Estamos pendientes de realizar pruebas en diferentes chatbots para comprobar qué herramienta es más fiable a la hora de generar textos libres de sesgo de género. La creación de GPT personalizados también puede ser una buena opción. Por último, conviene disponer de una rúbrica que permita comprobar de manera sencilla si el texto generado por los chatbots cumple con los criterios de inclusión y calidad deseados y, a su vez, no obviar nunca la comprobación humana final antes de dar por válido cualquier producto generado por una IA.

    • profile avatar

      Anna Peirats

      Comentó el 25/07/2024 a las 11:46:24

      Enhorabuena por la ponencia "Análisis de textos generados con chatbots de inteligencia artificial desde una perspectiva de género: ¿reflejo de una sociedad estereotipada? (proyecto LOVELACE)". Cómo se podría empezar a solucionar este problema a través de la IA, en tu opinión?

      • profile avatar

        Irene Carrillo Murcia

        Comentó el 26/07/2024 a las 08:50:03

        Estimada Anna:
        Pensamos que uno de los aspectos esenciales para combatir esta problemática es completar la instrucción (prompts) con información específica sobre el uso de un lenguaje inclusivo y la solicitud explícita de propuestas libres de sesgos de género. El diseño de prompts es esencial para el buen uso de las herramientas de inteligencia artificial. En este sentido, parece crucial entrenar a los usuarios y las usuarias en el empleo de chatbots desde una perspectiva crítica y sabiendo plantear la instrucción de forma que dotemos a la herramienta del contexto específico que necesitamos en cada caso. Por otro lado, la creación de GPT propios o personalizados parece una opción prometedora para entrenar a la herramienta y facilitar que las respuestas de ChatGPT vayan en la línea de lo deseado. Estos GPT personalizados se pueden entrenar con guías específicas de lenguaje no sexista e inclusivo y datos libres de estereotipos de género para obtener respuestas sin sesgo de género. En cualquier caso, nunca debemos obviar la comprobación humana como último paso del proceso.

    • profile avatar

      Adriana Igsabel Mora-Santos

      Comentó el 25/07/2024 a las 08:55:04

      Muy interesante su abordaje del tema "Análisis de textos generados con chatbots de inteligencia artificial desde una perspectiva de género: ¿reflejo de una sociedad estereotipada? (proyecto LOVELACE)",
      ¿Qué opinión tienen respecto a los datos con el que se alimentan los algoritmos de las IA?, en otras palabras si pudiéramos designar un porcentaje ¿En qué medida de porcentaje consideran que podrían fungir como determinantes de género en ChatGPT, algoritmo (de diversas plataformas) vs datos (con los que se alimenta)?

      • profile avatar

        Irene Carrillo Murcia

        Comentó el 26/07/2024 a las 08:41:51

        Estimada Adriana Igsabel:
        Gracias por su interesante pregunta. Determinar con exactitud el porcentaje de influencia del algoritmo y los datos en los sesgos de género observados en las respuestas de ChatGPT es complejo, especialmente sin haber llevado a cabo un experimento para su comprobación. No obstante, con la información de la que disponemos, pensamos que si bien ambos aspectos (diseño y entrenamiento del modelo) influyen en las cuestiones de género, los datos utilizados para el entrenamiento tienen un peso más importante si cabe. Por otro lado, es necesario considerar que nuestros prompts carecían de contexto en cuanto a la igualdad de género y el lenguaje inclusivo. En siguientes pruebas del proyecto pretendemos comprobar si completando la instrucción con la solicitud de emplear un lenguaje inclusivo y respetar los principios de igualdad, la presencia de sesgos de género en las respuestas de ChatGPT se reduce.


Deja tu comentario

Lo siento, debes estar conectado para publicar un comentario.

Organizan

Colaboran

Configuración de Cookies

Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies

Revisar