Sesgo algorítmico

¿Qué es el sesgo algorítmico?

La IA no es justa por naturaleza: aprende patrones de los datos, y cualquier sesgo de esos datos se filtra al modelo. El sesgo algorítmico significa que un sistema de IA toma decisiones sistemáticas e injustas sobre ciertos grupos por datos de entrenamiento sesgados o fallos de diseño: favorecer a un género en la contratación, o ser más duro con ciertas zonas al aprobar préstamos.

¿De dónde sale el sesgo?

Los datos históricos están sesgados
Si los datos de contratación pasados se inclinan hacia hombres, el modelo puede «aprender» que ellos encajan mejor.
Muestras desequilibradas
Si un grupo está poco representado en el entrenamiento, el modelo lo juzga mal.
Malas elecciones de características
Usar características como el código postal o el colegio — sin relación con el objetivo pero muy correlacionadas — mete la discriminación por la puerta de atrás.

¿Qué provoca?

Oportunidades desiguales
El sesgo en contratación, crédito o admisiones puede dejar a gente fuera de las oportunidades.
Reforzar la desigualdad
Los modelos amplifican brechas que ya existen en la sociedad, creando un círculo vicioso.
Pérdida de confianza
Cuando sale a la luz la injusticia, la confianza en la IA —y en la empresa— se derrumba.

¿Cómo reducirlo?

Limpiar y equilibrar los datos en el origen, añadir restricciones de equidad durante el entrenamiento y monitorizar y auditar tras el lanzamiento son movimientos habituales. La clave: el sesgo no se puede eliminar del todo, solo encontrarlo y corregirlo sin parar — o sea, tratarlo como un trabajo a largo plazo.

En resumen: el sesgo algorítmico es un mal hábito que la IA aprende de un mundo sesgado, y hace falta gente trabajando de forma constante para detectarlo y corregirlo.