Como hemos comentado antes, se dice que un modelo está sesgado cuando no refleja la realidad subyacente. Las consecuencias de este sesgo pueden ser muy elevadas, especialmente cuando éste involucra a factores que nuestra sociedad considera inmorales, como el sesgo por raza o condición sexual.

¿De dónde viene el sesgo? Hemos de entender que para entrenar un modelo son necesarios datos, muchos datos, pero que nunca serán ‘todos’ los datos. Por la forma en la que se recojan o se traten, puede aparecer el sesgo en el entrenamiento del modelo.

El sesgo puede ser accidental, por ejemplo, cuando los datos reportados por un sensor de temperatura son incorrectos por estar defectuosos. También puede estar ocasionado por una mala definición de la recogida de datos -como por ejemplo si entrenamos un modelo de reconocimiento facial usando fotos de una única zona geográfica-. Puede originarse por un erróneo tratamiento de los datos que haga el analista para prepararlos, ya sea eliminando un factor relevante (edad en el caso de enfermedades), o manteniendo uno inadecuado (raza en un scoring de crédito).

A tener en cuenta el caso de una doctora en EE.UU. que, usando el modelo de scoring médico implantado en su hospital, le denegaba la operación que ella misma consideraba la mejor opción para su paciente de color. Cuando cambió la raza de la paciente a blanca, el modelo recomendó la operación. Esto puso en evidencia la presencia de sesgo racial en los modelos usados, y fruto de ésto se hicieron estudios al respecto que lo demostraron.

Si bien las medidas para evitar el sesgo van a venir fundamentalmente de una definición y tratamiento muy cuidadosos de esa fase de recogida y tratamiento de datos, también es posible aplicar algunas medidas en la propia concepción del modelo. Por ejemplo, ‘ayudar’ al modelo a no sobrevalorar determinadas condiciones, imponiendo contrapesos en su objetivo (evitando el overfitting o sobre-entrenamiento, que se produce cuando entrenamos un modelo con un conjunto de datos insuficientemente representativo del escenario a analizar).

Como vemos, no es nada fácil el dilema que se le plantea a la empresa. Involucra temas legales, de procedimiento, técnicos e incluso, morales.

Si necesita ayuda en la definición y diseño de estos mecanismos, desde OGA podemos ayudarle.

No pierda la oportunidad de asistir el próximo 22 de abril, en el Tech Park de Málaga, al Primer Encuentro sobre ‘La ética en la inteligencia artificial’ donde, de la mano de APD, contaremos con la presencia de Carmen Artigas, Secretaria de Estado para la Digitalización e IA. Punto de encuentro donde tendremos la oportunidad de debatir, junto a destacados ponentes, de estos interesantes y cada vez más importantes aspectos de la transformación digital que la aplicación de la IA está generando en nuestra economía y en nuestra sociedad.