Un informe de Amnistía Internacional ha puesto en el foco de atención en el uso de sistemas de inteligencias artificial (IA) por parte de la Agencia del Seguro de Suecia (Försäkringskassan), evidenciando graves problemas de discriminación y violaciones de derechos humanos. Tras una investigación conjunta de Lighthouse Reports y Svenska Dagbladet, se reveló que los algoritmos empleados por la agencia seleccionan de manera desproporcionada a grupos marginados para investigaciones sobre fraude en las prestaciones sociales, lo que exige una acción inmediata para frenar este uso indebido de tecnología.

Discriminación sistemática por diseño
Según los hallazgos, el sistema de aprendizaje automático de Försäkringskassan, utilizado desde a menos 2013, seleccionaba de forma desproporcionada a determinados grupos para someterlos a investigación adicional en relación con fraudes en las prestaciones sociales, como las mujeres, las personas de origen extranjero, las personas de bajos ingresos y las que no poseen títulos universitarios. Estas practicas violan derechos fundamentales como la igualdad, la no discriminación y la privacidad.

David Nolan, investigador de Amnistía Internacional, calificó el sistema como “una caza de brujas”, destacando que las personas señaladas por el algoritmo enfrentan demoras y obstáculos para acceder a las prestaciones sociales a las que tienen derecho. Además, los investigadores de fraude tienen amplias facultades, incluyendo el acceso a datos privados y entrevistas con personas cercanas al investigado, lo que refuerza el carácter invasivo y deshumanizador del sistema.

Opacidad y falta de transparencia

Un elemento clave es la opacidad del sistema. Aunque periodistas y organizaciones han solicitado acceso a información detallada sobre su funcionamiento, las autoridades suecas han sido renuentes a compartir datos. No obstante, gracias a la colaboración de la Inspección de la Seguridad Social (ISF), los investigadores lograron analizar los resultados del algoritmo y confirmar patrones de sesgo que afectan de manera desproporcionada a los grupos marginados.

Esta falta de transparencia también plantea dudas sobre la legalidad del sistema bajo la normativas europeas de protección de datos. En 2020, un funcionario de protección de datos ya había advertido que el sistema violaba la normativa de la Unión Europea, careciendo de fundamentos jurídicos para trazar perfiles de las personas.

Un problema recurrente en Europa
El caso de Suecia no es aislado. En Países Bajos, un sistema algorítmico similar utilizado por las autoridades tributarias resultó en la falsa acusación de fraude contra miles de familias, en su mayoría de bajos ingresos y de minoría étnicas. Dinamarca y Francia también han enfrentado criticas por el uso de IA en sistemas de bienestar social, donde se evidencio vigilancia masiva y discriminación contra personas con discapacidad, migrantes y refugiados.

Estas experiencias subrayan los riesgo inherentes al uso de sistemas de IA opacos en sectores críticos como el bienestar social, especialmente cuando agravan desigualdades existentes y perpetúan la discriminación.

Oportunidades y desafíos
En agosto de 2024, entró en vigor la Ley de Inteligencia Artificial de la Unión Europea, que establece normas estrictas para el uso de IA en servicios públicos. Esta ley exige evaluaciones de riesgos en materia de derechos humanos, mayor transparencia y medidas para mitigar impactos negativos. Además, prohíbe sistemas que puedan ser considerados herramientas de puntuación social.

Sin embargo, la implementación de esta legislación enfrenta retos. Según Nolan, aunque los datos disponibles demuestran que el sistema sueco viola derechos fundamentales, la ambigüedad de las autoridades dificulta determinar si este sistema se clasifica formalmente como puntuación social bajo la ley. A pesar de ello, Amnistía Internacional insta a que el sistema sea desmantelado de inmediato.