Enfoque
La Inteligencia Artificial es acreedora de un marco regulatorio que respete los valores, principios y derechos sobre los que se sustenta la democracia, pudiendo constituirse en instrumento de lucha contra la opresión de las mujeres o, al contrario, perpetuar los estereotipos que apuntalan el patriarcado.
Entendiendo que la democracia debe avanzar hacia la igualdad por razón de sexo para poder llamarse tal, el diseño de la llamada Ley de Inteligencia Artificial supone una oportunidad en el camino hacia la igualdad real entre mujeres y hombres y la democracia participativa, por lo que debe apostarse por la aplicación de los principios de buena regulación como instrumentos estratégicos.
La IA se sirve de datos, algoritmos y hardware. Los sistemas de IA trabajan con datos que representan una sociedad en la que el varón es el modelo de persona, por lo que presentarán sesgos perpetuando la estereotipia. Además, los varones aportan más datos útiles (Ortiz de Zárate) -disponen de más tiempo de ocio y de más facilidad de acceso a la tecnología, y hacen mayor uso de internet-, lo que acrecienta las diferencias de manera exponencial, dado que se genera una sobrerrepresentación de la que los algoritmos extraen conclusiones. Tales datos se refieren, además, a lo que es de interés para los varones, quedando excluidos aspectos esenciales de la vida de las personas-mujeres, afectando al entrenamiento y aprendizaje del sistema, que busca patrones de repetición. A ello se suma la sobrerrepresentación masculina en las profesiones encargadas de desarrollar los sistemas de IA, que deriva en la falta de conciencia sobre el alcance de los efectos de los sesgos sexistas y de la parcialidad de los datos que excluyen a la mitad de la población, que no se percibe como una vulneración sistemática de derechos humanos con consecuencias inaceptables en la perpetuación de la opresión que sufren las mujeres.
Si aceptamos que la IA es “una serie de algoritmos diseñados para ejecutar tareas que normalmente se atribuyen a la inteligencia humana” (Cobo Cano y Lloret Iglesias), hemos de defender la exigencia normativa de establecimiento de mecanismos de control en el diseño de los algoritmos.
Finalmente, el hardware también genera discriminación a través de la representación de estereotipos. Baste citar la preocupante proliferación de robots creados para la satisfacción de un tipo concreto de sexualidad, que representan una determinada idea masculina de lo que es una mujer o una parte o partes concretas de ella (de manera que se deshumaniza a las mujeres a través de objetos), o la generalización de asistentes virtuales estereotipados que evidencian la falta de conciencia sobre la desigualdad por razón de sexo de sus diseñadores, de quienes dirigen las empresas que se sirven de ellos y de las instituciones que las contratan.
La lucha contra la discriminación por razón de sexo exige admitir la inexistencia de neutralidad, normativa o tecnológica (en línea con lo defendido por Harding) y la apuesta por un marco normativo basado en los principios de buena regulación y la transversalidad.
Isabel Mercader Rubio
Comentó el 31/07/2023 a las 16:46:41
Enhorabuena por vuestro trabajo! Me gustaría saber si pensáis que las leyes educativas también deberían abarcar tales cuestiones.
Un saludo
Nieves Gutiérrez Ángel
Comentó el 31/07/2023 a las 10:35:56
Enhorabuena por vuestro trabajo. Me gustaría saber si consideráis necesario trabajar estas cuestiones desde la infancia, o mejor en la adolescencia con el inicio al empleo de los recursos digitales de manera plena. Un saludo
Victoria Eugenia Gutiérrez Nevárez
Comentó el 27/07/2023 a las 23:53:44
Actualmente me encuentro cursando el Doctorado en Derecho en la Universidad Juárez del Estado de Durango, México,mi tema de investigación es la Gobernanza Ética de la Inteligencia artificial por lo que su ponencia me resulta de sumo interés para nutrir mi investigación. Desde su perspectiva ¿qué elementos debería contemplar un marco regulatoria de la IA para que represente una verdadera guía hacia la erradicación de sesgos y discriminación a la hora de la implementación de herramientas que involucran a la IA?
Al escuchar su intervención entiendo que en España ya se contemplan auditorías a las empresas creadoras, ¿qué tipo de auditorías ya estan contemplando en este país? ¿se trata de auditorias que sean realmente externas a las empresas? hay un marco guía o de parámetros para estas auditorías y un seguimiento posterior?
Agradezco su aportación
Ana Rodríguez García
Comentó el 28/07/2023 a las 11:27:54
Muchas gracias por su comentario.
La Gobernanza Ética está íntimamente unida a los principios de buena regulación y a las buenas prácticas normativas y de políticas públicas, como sabe.
El marco regulatorio de la IA debe establecer entre sus principios la no discriminación por razón de sexo de manera individualizada, sin formar parte de una enumeración y, desde luego, alejada de postulados queer. No se puede legislar en un sentido y en el contrario.
Dicho esto con la crudeza que lo merece, seguidamente debe establecerse que la ley (entre los objetivos de la norma) debe garantizar que el diseño, uso, distribución, etc. (hay que concretar) promoverá la igualdad entre mujeres y hombres favoreciendo la detección y abordaje de cualesquiera tipo o forma de discriminación que atente contra los derechos de las mujeres. En particular: (...). Y deberá señalar qué cuestiones son las esenciales en el caso de la IA.
Establecido: 1. que la igualdad es un principio; 2. que la estereotipia sexista atenta contra los derechos de las mujeres (derechos humanos); 3. que la ley tiene entre sus objetivos: a) acabar con la discriminación; b) evitarla.
Una vez establecido, como digo, lo básico, las ideas estructurales, hay que desgranar que genera o puede generar desigualdad en este campo. Y establecer normas básicas en cuanto a datos, funcionamientos de algoritmos y hardware (en línea con lo que explico en el artículo, que te invito a leer :) ).
Además, debe hacerse uso de los principios de buena regulación (al diseñar y elaborar el marco normativo, que enlaza con el diseño y evaluación de políticas públicas): ello incluye transparencia, la evaluación, que permitirá que desde sectores diversos se analice bien qué detalles no deben escaparse, en particular al diseñar el control humano del funcionamiento del algoritmo, y, por último, la norma debe establecer un sistema de evaluación técnica, jurídica, por personal independiente y especializado. Aquí podría tener cabida la actuación de diversos organismos de manera coordinada, incluyendo aquello defensores de los derechos humanos y de la ciudadanía.
Respecto a la regulación existente. Lo que tenemos en la UE es un sistema basado, en crecimiento realmente -creo que queda mucho por desarrollar, se está en ello-, en dichos principios.
En España se introdujeron con la Ley de Economía Sostenible y pasaron a esta ley:
https://www.boe.es/buscar/act.php?id=BOE-A-2015-10565
Puedes ver el artículo 129.
Coméntame si te está ayudando mi respuesta.
Después seguimos.
Ana Rodríguez García
Comentó el 28/07/2023 a las 14:12:36
Prosigo refiriéndome a las auditorías.
En la comunicación hago referencia al proceso normativo, regulador: no al proceso tecnológico llevado a cabo por las empresas del ramo.
La tesis que mantengo en que el campo de la IA, como cualquier otro de la realidad humana objeto de tratamiento por parte del derecho positivo, hay que seguir unas pautas en el proceso de regulación que, en el caso de la UE y España, está presidido por los llamados principios de buena regulación.
Su adecuada aplicación permitirá analizar, prejuzgar y controlar cómo va a incidir la regulación en el campo de la igualdad entre los sexos. La regulación, el derecho, se ocupa de la realidad material estableciendo límites de actuación que podrán servir para evitar las consecuencias indeseadas de las que hablo. Y la vulneración de los derechos humanos de las mujeres es, naturalmente, una consecuencia no deseada por la norma. La perpetuación del género o de los estereotipo sexistas, también.
La norma podrá referirse al tratamiento y actuación humana en el volcado y tratamiento de datos, en el diseño de los algoritmos y el control de su funcionamiento y en el hardware, controlando el uso y diseño de esos robots, asistentes virtuales, etc.
El derecho regula cómo deben actuar las personas y su responsabilidad, pues son personas quienes diseñan el entramado de estos sistemas.
Las auditorías y los controles previos a la aprobación de la norma se refieren a este campo. Y los controles ex post son el colofón. Un riguroso diseño de este entramado permitirá controlar lo que, en último término, pueden o no hacer las empresas. Como en cualquier otro sector.
Brenda Fabiola Chávez Bermúdez
Comentó el 27/07/2023 a las 20:30:43
Un tema muy interesante y muy necesario que a la fecha está muy sesgado poniéndose el modelo masculino como único y reproduciendo los estereotipos de mujeres como objeto y discriminación en otros rubros. En México, las mujeres estamos infrarrepresentadas en esta área; hay una brecha significativa en el acceso educativo a ingenierías y capacitación en nuevas tecnologías y en IA. La transversalidad de género y las intersecciones con grupos históricamente discriminados, necesariamente deben tomarse en cuenta a la hora de legislar. Muchas gracias por compartir su información.
Ana Rodríguez García
Comentó el 27/07/2023 a las 22:09:47
Gracias a ti por tu aportación. En definitiva, los sesgos en los datos no son sino el reflejo de una sociedad que sitúa al varón en el centro como modelo de ser humano. Hombre, blanco y propietario.
Particularmente importante es destacar que si se regula sin tener en cuenta que los sesgos están presentes en los sistemas de IA, la discriminación crecerá exponencialmente. El derecho no puede, al menos en teoría, crear una norma que genere opresión, que es lo que pasará si se perpetúa a través de estos sistemas la violencia sexual en el imaginario colectivo, la hipersexualización de las mujeres y las niñas, la distribución por sexos de labores y trabajos remunerados, etc. Ello constituye una vulneración de los derechos humanos y por tanto, debemos anticiparnos y crear sistemas que cooperen en la lucha contra el sistema patriarcal.
M. Soledad Vieitez Cerdeño
Comentó el 27/07/2023 a las 15:11:38
Ana, inmensamente agradecidas por tu respuesta y el grado de detalle al respecto. Me encanta el planteamiento del feminismo jurídico, el cual desconocía hasta ahora. Enhorabuena una vez más.
Ana Rodríguez García
Comentó el 27/07/2023 a las 22:10:11
Muchísimas gracias. Quedo a vuestra disposición.
María Dolores Pérez Esteban
Comentó el 27/07/2023 a las 10:47:45
Estimada Ana,
En primer lugar, me gustaría felicitarle por su interesante trabajo. Del mismo le planteo la siguiente cuestión ¿Cuáles han sido los principales obstáculos a la hora de desarrollar su trabajo?
Muchas gracias
Ana Rodríguez García
Comentó el 27/07/2023 a las 11:41:41
Muchas gracias, María Dolores.
Vas a tener que disculparme, ¿puedes concretar más la pregunta?
Mi trabajo defiende que la aplicación de los principios de buena regulación pueden emplearse como un instrumento en favor de la igualdad y que en el caso de la IA serán muy útiles dados los riesgos que aquí se plantean.
La norma que se está gestando en la UE es pública y como feministas debemos analizar y proponer. La evaluación ex post, cuya previsión normativa es una realidad, es evidente que podrá servir para corregir cualquier desvío en la norma y su aplicación.
Entonces, en mi caso, el estudio de estas cuestiones se engloba en el conocimiento sobre la técnica legislativa y la buena regulación por un lado, y el análisis de lo que está ocurriendo en el campo de las tecnologías disruptivas.
¡Coméntame! Gracias
M. Soledad Vieitez Cerdeño
Comentó el 26/07/2023 a las 19:04:56
Ana, gracias, muy sugerente tu ponencia. Ciertamente la tecnología nada tiene de neutralidad y son muy importantes los aspectos a tener en cuenta en este proceso, como nos cuentas. Nos ha gustado también la idea de que el derecho haga previsiones de cara a futuro, más allá de partir de las experiencias dadas. Nos preguntamos hasta qué punto no sería también relevante incluir en la IA no sólo la diferenciación de género sino además la de edad, generación, bagaje sociocultural/étnico, sexualidad, etc. Obviamente esto lo complejiza mucho, pero teniendo en cuenta que la humanidad es diversa, sería lo suyo. Creemos sesgado el hecho de que los varones aporten “datos más útiles” por mayor acceso a/uso de tecnología e internet. Seguramente sería imprescindible recopilar datos a priori (de cara a la creación posterior de algoritmos), mediante tecnologías cualitativas, y no partir únicamente de lo existente. En fin, no sé si en la implantación de la ley IA se contemplarían más categorías además del género. Muchas gracias, de nuevo, y felicidades por la ponencia.
Ana Rodríguez García
Comentó el 27/07/2023 a las 11:37:03
Un saludo. M. Soledad, y gracias por tu interés.
En primer lugar, y empiezo por el final, la mención a los "datos útiles". La utilidad hace referencia a aquello que sirve al sistema y al algoritmo, que no es cualquier dato.
Al analizar cómo influye la diferencia social y estructural entre mujeres y varones en el ámbito de la IA, partimos de que debemos analizar los datos, los algoritmos y el hardware.
Los sesgos en los datos se deben a distintos problemas y también generan situaciones diferentes (que pueden ser abordadas legislativamente de distinta manera).
La sobrerrepresentación masculina se manifiesta o incide de varias formas. Una de ellas es que el uso que dan los varones a la tecnología genera determinado tipo de datos. El sistema, los algoritmos, en su "aprendizaje" emplean y seleccionan datos, y en ello influyen diversos factores. Todo está interrelacionado, pensemos en que mayoritariamente son varones -con intereses y esquemas mentales de varones, que creen además, que sus intereses son "universales"- quienes diseñan los sistemas y algoritmos y quienes enseñan "a la máquina".
La utilidad de los datos hace referencia a aquellos que sirven a los algoritmos a su fin, en particular y cuando opera, en el caso del autoaprendizaje.
Luego, además, resulta que los varones dedican más horas a generar información. Y, se suma, el acceso a las mujeres está dificultado: ello también influye en el tipo de uso, el para qué, de las mujeres y, por tanto, en el tipo de información que las mujeres mueven para los algoritmos.
En definitiva, debe tenerse presente que los sistemas necesitan aprender y lo hacen en base a datos que se encuentran en bases de datos donde la sobrerrepresentación masculina opera en todas las esferas. Los algoritmos han estado entrenando con datos masculinos (simplificando), generados por el uso que los hombres hacen (en lo que influye el estilo de vida, la profesión, los ingresos, el tiempo libre disponible, en qué se emplea el tiempo libre y el dinero que se tiene, etc.), con datos seleccionados desde la perspectiva y los intereses vitales y lúdicos de los hombres (que incluye datos sobre las mujeres, sin que el algoritmo, si no está diseñado para ello, entienda el matiz).
Los sistemas hacen uso de los datos que les son útiles en función de su diseño y de otros factores como el volcado de datos: no todos los datos sirven. (Pensemos en las historias clínicas: aunque estén disponibles en una red de un sistema de salud, si no siguen ciertas reglas, un sistema de IA no podrá emplear esos datos. Por ejemplo la uniformidad en las descripciones para sacar datos estadísticos).
Creo que los algoritmos pueden ser diseñados para detectar los sesgos, lo que hace falta es voluntad. Pueden servir para detectar desigualdades y proponer soluciones, dado que la IA precisamente se caracteriza por la búsqueda automatizada de soluciones a problemas. Eso es la IA.
Por último, y a la espera de que me comentes si te estoy contestando a lo que me preguntas, lo primero que indicas: existen distintos tipos de discriminaciones que se unen a la opresión de las mujeres. Así es.
En los documentos, como el Libro Blanco, en que ha ido trabajando la UE y en el texto que ha pasado en junio por el Parlamento Europeo se hace referencia a los distintos tipos de discriminación. A nadie se le escapa actualmente.
Cuidado: precisamente lo que defiendo es que la desigualdad entre mujeres y hombres, por afectar a la mitad de la población, por ser la más naturalizada -lo que dificultará su abordaje desde la IA- y en base al entramado normativo vigente en el que la transversalidad "está" garantizada en el campo de la igualdad entre mujeres y hombres, debe tener un tratamiento prioritario y diferenciados.
Porque lo que nos encontramos ahora es que ha aparecido la expresión diversidad parejo a la lucha contra la discriminación. En el derecho cada palabra debe tener un significado claro, una norma debe emplear términos con un sentido exacto desde el punto de vista jurídico. La igualdad, hoy por hoy, lo tiene.
Naturalmente se están detectando sesgos de distintos tipos. Por ejemplo en el caso del reconocimiento facial, dado que casi todos los datos con lo que se han entrenado los sistemas se refieren a varones blancos, las mujeres que no son blancas han resultado ser escasamente reconocidas. Son cuestiones muy evidentes para quienes diseñan y contratan una vez que se usa el sistema de IA.
Lo mismo en el campo médico con la detección de señales de alarma en manchas en la piel.
esto casi todo el mundo lo ve y está de acuerdo en que no sirve.
Cuidado, nuestra situación es diferente. En el caso del reconocimiento facial se corre el riesgo de centrarlo en la cuestión racial y los rasgos físicos difieren por sexo y esto está influyendo en el resultado práctico.
¿Se entiende que vulnera derechos humanos esta suerte de negación de la existencia? frente a ello, cuando un sistema no identifica lo que una mujer lleva en la mano (en una imagen) porque es un taladro o un martillo y propone que debe ser una escoba o un plumero... ¿se le da la misma importancia?
Contestando a lo que señalad acertadamente: sí. Desde luego existen otros factores y otros sesgos y el planteamiento a nivel internacional, y desde luego legislativo en Europa, es hacer frente a cualquier discriminación.
Tengamos cuidado en no quedar las últimas.
Deja tu comentario
Lo siento, debes iniciar sesión como ponente para publicar un comentario.
Organizan
Colaboran