Introducción - Detalles de la herramienta.

En este desafío se tiene la oportunidad de utilizar y contribuir al desarrollo de la primera herramienta de habla hispana para detectar sesgos, evaluar el nivel de estereotipos y discriminación existente en chatbots de atención al público, motores de búsqueda de portales estatales, herramientas de análisis de texto, entre otros.
El desafío se centra en colaborar en el descubrimiento y la documentación de sesgos con el fin de construir soluciones más justas y equitativas.

Demo de la herramienta: https://huggingface.co/spaces/vialibre/edia

En la herramienta se puede elegir el modelo de lenguaje que uno quiera evaluar, el de la demo usa el modelo Beto modelo adaptado al español a partir de Bert (modelo entrenado en inglés).
Actualmente hay pocos modelos de lenguaje grandes (LLM), eso lleva a que haya pocos modelos que funcionen bien, entre los que funcionan bien se encuentra Beto. En base a lo anterior se eligió Beto porque es el más usado para español.

Analizando Beto ya se están analizando todos los modelos herederos, los que se adaptaron a partir de él.
Todo los modelos que EDIA puede analizar se encuentran en la web de huggingface.

Es importante destacar que el sesgo estaría sobre el modelo de lenguaje que utilizó la organización/empresa y no en la herramienta, ejemplo: no en el chat bot.

Interseccionalidades de sesgo.
Por ejemplo, al entrenar un modelo de lenguaje, es importante analizar si hay sesgos hacia ciertos grupos en función de la intersección de sus características. Puede ser que un modelo muestre sesgos hacia mujeres y el mismo modelo también tener sesgos sobre cierta etnia. Entonces las mujeres pertenecientes a esa etnia podrían estar experimentando una mayor discriminación debido a la intersección de ambas características.

En el área de empleo, en donde se utilizan algoritmos para procesar y sugerir los mejores candidatos a un reclutador supongamos que el algoritmo para un trabajo muestra sesgos hacia los hombres en general, perjudicándolos en comparación con las mujeres en términos de tasas de contratación y al analizar las interseccionalidades de sesgo, se descubre que el algoritmo también muestra sesgos hacia ciertos grupos de hombres en particular. Por ejemplo, puede que los hombres pertenecientes a ciertas minorías raciales o con antecedentes socioeconómicos específicos tengan menos probabilidades de ser seleccionados en comparación con otros hombres.

Objetivos del desafío.

El objetivo central del desafío es descubrir nuevos casos de sesgo confirmados para el modelo de procesamiento de lenguaje natural más usado en español (BETO).

A partir de una hipótesis de sesgo detectar en qué herramientas de uso masivo se valida la existencia de dicha hipótesis (por ejemplo: sesgos de género en contextos de profesionales o laborales, antisemitismo, gordofobia, racismo, aporofobia, etc).

Analizar interseccionalidades de sesgo, para ver cómo diferentes dimensiones de la identidad de una persona (como género, raza, orientación sexual, clase social, etc.) pueden combinarse y superponerse para generar formas únicas de discriminación o desigualdad y según como se utilicen la connotación que adquieren.

Investigar y comprender el uso de modelos de lenguaje o word embeddings que se están usando actualmente en sistemas de procesamiento de lenguaje natural, como chatbots de atención al público, motores de búsqueda de portales estatales, herramientas de análisis de texto, etc.

Testear con la herramienta para la detección de sesgos: https://huggingface.co/spaces/vialibre/edia  desarrollada para evaluar y analizar el nivel de estereotipos y discriminación presentes en los sistemas de procesamiento de lenguaje natural para el idioma español.

Presentar casos de uso específicos donde se detecten sesgos, proponer soluciones y mejoras para mitigarlos basados en las diferentes opciones manejadas en los talleres previos.

Promover la conciencia sobre los sesgos y estereotipos presentes en sistemas de IA.

Estimular la investigación y el desarrollo de soluciones que contribuyan a reducir la discriminación algorítmica.

Analizar cómo los sitios uruguayos trabajan en el área de ética en Inteligencia Artificial.