Por Aurora Sofía Rojas Peralta

Introducción:

En la última década, la inteligencia artificial se ha instalado como parte de varios ámbitos de la vida cotidiana, aunque la IA como herramienta tiene sus raíces en los años cincuenta, su integración en procesos cotidianos es un fenómeno relativamente reciente. Los algoritmos, capaces de analizar grandes volúmenes de datos ¹ se utilizan en áreas muy diversas, como la seguridad pública, los sistemas de reconocimiento facial, o las plataformas de contenidos digitales.

Estas herramientas suelen presentarse como apoyo en la toma de decisiones, sin embargo, estos algoritmos no operan en condiciones de neutralidad absoluta ², sino que depende de los datos con los que son entrenados, de las variables incorporadas, y de las decisiones adoptadas en su diseño. Entonces, cuando esos datos reflejan desigualdades o patrones de discriminación, los sistemas algorítmicos pueden reproducir, e incluso amplificar esos mismos sesgos.

Es por esta razón que el sesgo algoritmo se ha convertido en uno de los temas centrales de discusión contemporánea sobre la inteligencia artificial y los derechos humanos, lo que plantea interrogantes sobre transparencia, mecanismos de control, y la responsabilidad frente a las posibles discriminaciones.

Asimismo, cuando estos sistemas automatizados toman decisiones que afectan los derechos de las personas, desde la evaluación de riesgo de reincidencia en el ámbito penal hasta la selección de candidatos en procesos de empleo, así como el reconocimiento facial en ámbitos de seguridad.

A partir de estas consideraciones, el presente trabajo examina el sesgo algorítmico en sistemas de inteligencia artificial y sus implicancias en los derechos a la igualdad, la no discriminación y la privacidad, en especial sobre el contexto paraguayo y la necesidad de avanzar hacia estándares de transparencia y responsabilidad en el uso de estas tecnologías.

Conceptos básicos sobre inteligencia artificial y sesgo algorítmico

Antes de abordar los casos concretos, es necesario precisar los conceptos que se utilizarán a lo largo del trabajo.

Primeramente, la inteligencia artificial puede entenderse como un conjunto de tecnologías diseñadas para realizar tareas que normalmente requieren capacidades humanas, ya sea, como analizar información, identificar patrones, o tomar decisiones basadas en datos. En ese sentido, la Comisión Europea en su informe (2020) “AI Watch. Defining Artificial Intelligence Towards an operational definition and taxonomy of artificial intelligence” [Reloj de AI. Definición de la inteligencia artificial: Hacia una definición operativa y una taxonomía de la inteligencia artificial.] ³ lo define como: “Los sistemas de inteligencia artificial (IA) son sistemas de software (y posiblemente también de hardware) diseñados por humanos que, ante un objetivo complejo, actúan en la dimensión física o digital: perciben su entorno mediante la adquisición de datos, interpretan los datos recopilados (estructurados o no estructurados), razonan sobre el conocimiento o procesan la información derivada de estos datos y deciden la(s) mejor(es) acción(es) para alcanzar el objetivo propuesto.”

El funcionamiento de estos sistemas depende de algoritmos capaces de analizar grandes volúmenes de datos y generar predicciones, clasificaciones o recomendaciones; sin embargo, como se mencionó anteriormente, cuando estos datos reflejan desigualdades o patrones de discriminación, los resultados pueden reproducir estas distorsiones.

Este fenómeno es conocido como sesgo algorítmico, que se produce cuando errores sistemáticos en los algoritmos de aprendizaje automático generan resultados injustos o discriminatorios. ⁴ En muchos casos, estos surgen de la forma en que los algoritmos aprenden a partir de datos que contienen desigualdades sociales preexistentes, tales como las vinculadas al origen étnico, el género, o la situación socioeconómica.

El Sistema COMPAS y el Caso State v. Loomis (2016)

Es sabido que algunos sistemas de justicia penal han comenzado a incorporar algoritmos predictivos para evaluar riesgos y sustentar las decisiones judiciales, de esa manera, el caso más emblemático y controvertido es el sistema COMPAS, que por sus siglas en inglés significa “Correctional Offender Management Profiling for Alternative Sections” [Elaboración de perfiles de gestión penitenciaria para secciones alternativas] desarrollado por la empresa Northpointe (actual Equivant)

Según los autores Roa Avella, Sanabria-Moyano y Dinas-Hurtado, este sistema fue diseñado para evaluar el riesgo de reincidencia, asignando un puntaje del 1 al 10 a partir de un cuestionario de más de 100 variables incluyendo antecedentes penales, entorno familiar, empleo, nivel educativo, entre otros; con la finalidad de asistir a jueces en la asignación de las medidas cautelares e inclusive en torno a la libertad o fijación de las penas. ⁵

Así las cosas, en el caso “State Of Wisconsin v. Eric Loomis (2016) el tribunal consideró un informe de algoritmo COMPAS que calificaba al acusado como de alto riesgo de reincidencia. Sin embargo, la defensa impugnó el uso de dicho informe alegando la vulneración del debido proceso. ⁶ La Corte Suprema de Wisconsin sostuvo que el uso del algoritmo no violaba el debido proceso, pero advirtió que los jueces debían comprender que las evaluaciones de riesgo del sistema se basaban en datos estadísticos grupales, no en determinaciones individuales.

En ese mismo año, una investigación periodística de Pro-Pública analizó una serie de decisiones judiciales y concluyó que COMPAS tendía a generar tasas de error según el grupo racial de los acusados. De esta manera mencionó que “Analizamos a más de 10000 acusados ​​en el condado de Broward, Florida, y comparamos sus tasas de reincidencia previstas con las reales durante un período de dos años… y descubrimos que la puntuación predijo correctamente la reincidencia de un delincuente el 61 por ciento de las veces, pero solo acertó en sus predicciones de reincidencia violenta el 20 por ciento de las veces… a menudo se predecía que los acusados ​​negros tenían un mayor riesgo de reincidencia del que realmente tenían…” entre otras revelaciones. ⁷

Este análisis ilustra uno de los principales riesgos de la inteligencia artificial en el ámbito penal, en cuanto a la posibilidad de que dichas decisiones afecten de manera desproporcionada a determinados grupos sociales, muchas veces incluso sin que las personas afectadas puedan conocer o impugnar los criterios utilizados.

Amazon Rekognition y el reconocimiento facial

Otro caso relevante es el relacionado con el sistema de reconocimiento facial “Amazon Rekognition”, el cual analiza las características biométricas del rostro humano con el objetivo de identificar o clasificar personas a partir de imágenes. ⁸

Una de las investigaciones más influyentes fue realizada por el Instituto Tecnológico de Massachusetts (MIT) ⁹ que comparó sistemas de reconocimiento facial de varias empresas tecnológicas, sin embargo, sus resultados presentaron una tasa de error del 0,8 por ciento para hombres de piel clara y del 34,7 por ciento para mujeres de piel oscura.

Ante las críticas, la empresa respondió calificando el estudio como engañoso y defendió la fiabilidad de su herramienta, argumentando que los niveles de precisión dependían del nivel de confianza en el análisis. No obstante, ello evidenció la necesidad de garantizar que los algoritmos sean entrenados con datos diversos, a fin de evitar que reproduzcan patrones de discriminación o resultados desiguales.

Estos casos de ámbito internacional demuestran que los sistemas algorítmicos no operan en condiciones de neutralidad, sino que sus resultados están condicionados, como ya se mencionó, por la calidad y diversidad de los datos de entrenamiento; lo que genera un impacto en los derechos fundamentales como la igualdad y la no discriminación.

El Sesgo Algorítmico en Paraguay: Decisiones automatizadas

Lo analizado anteriormente podría parecer distante de la realidad paraguaya, sin embargo, el uso de estos sistemas automatizados en la toma de decisiones es una realidad en el país, y ocurre en espacios de vacíos normativos.

Un antecedente importante es el de “Emplea PY” una plataforma digital del Ministerio de Trabajo, Empleo y Seguridad Social (MTESS). Según una investigación del TEDIC y Derechos Digitales publicada en el año 2025 ¹⁰ esta plataforma gestiona información personal de miles de ciudadanos en busca de trabajo, incluyendo datos de identidad, historial laboral, nivel educativo, entre otros. Según reportó el medio de comunicación RDN, desde noviembre del 2024 estaba prevista la incorporación de módulos de inteligencia artificial “para evaluar habilidades blandas y competencias específicas, asignando puntajes automáticos que determinarán el porcentaje de coincidencia entre candidatos y vacantes.” ¹¹ sin que existan garantías legales sobre el almacenamiento y uso de datos de los usuarios.

De este caso surgen interrogantes como ¿Qué ocurre cuando el algoritmo descarta un candidato y no existe un mecanismo para conocer el criterio aplicado? ¿Cómo garantizan que el sistema no reproduzca sesgos vinculados al género, o nivel socioeconómico del postulante?

Sin embargo, según los datos recogidos por ABC Color en marzo del 2026, ¹² alrededor de 5 de cada 10 empresas en Paraguay utilizan sistemas de inteligencia artificial en alguna etapa del proceso de selección del personal, tanto en el análisis previo de currículums, como en la organización de la información de los candidatos. Es importante mencionar que, si bien estas herramientas pueden agilizar estos procesos, también pueden incluir sesgos si no se utilizan con la debida supervisión humana profesional con criterios transparentes y no discriminatorios.

Este caso genera interrogantes acerca de la seguridad de los datos en la generación de sesgos involuntarios, así como también en la exposición de información sensible de los candidatos a los sistemas de inteligencia artificial utilizados dentro del proceso de reclutamiento. ¹³

Sesgo algorítmico y derechos humanos: Igualdad, privacidad y debido proceso

Los casos analizados evidencian un patrón común que se centra en que los sistemas de inteligencia artificial, en cuanto dependen de los datos con que son entrenados, de las variables incorporadas y de las decisiones adoptadas en el proceso de diseño; entonces, cuando estos sistemas se aplican en ámbitos sensibles mencionados, producen resultados que afectan principios fundamentales.

Es necesario mencionar que ello plantea riesgos para el derecho de la igualdad y la no discriminación, en cuanto a que los datos con que se entrenan reflejan desigualdades estructurales, luego los algoritmos lo reproducen y finalmente lo legitiman bajo una apariencia de objetividad. Así, el caso COMPAS demuestra como esto puede ocurrir en sistemas diseñados para el apoyo y agilización de procesos judiciales.

Así también, los sistemas automatizados plantean desafíos para el derecho al debido proceso y la tutela judicial efectiva, ya que cuando un algoritmo opera con parámetros vacíos, las personas afectadas por esas decisiones no pueden conocer ni defenderse por los criterios aplicados.

Por otro lado, el uso de sistemas de Inteligencia Artificial que procesan datos personales, plantea riesgos específicos para el derecho a la privacidad y la protección de datos sensibles, en cuanto las personas no han dado autorización para la exposición de datos personales a las corporaciones de IA, lo que genera una vulneración en el procesamiento, almacenamiento o eventual transferencia de dicha información.

De esta manera, el artículo 13 de la Convención Americana sobre Derechos Humanos (CADH), establece el derecho a la libertad de expresión en su dimensión individual y social, incluyendo la libertad de buscar, recibir y difundir información: “…Este derecho comprende la libertad de buscar, recibir y difundir informaciones e ideas de toda índole, sin consideración de fronteras, ya sea oralmente, por escrito o en forma impresa o artística, o por cualquier otro procedimiento de su elección.” ¹⁴ Ofreciendo una base conceptual importante para analizar las situaciones en que los sistemas automatizados inciden sobre los derechos de las personas a acceder a información, a ser evaluadas con criterios no discriminatorios, y a conocer las razones de las decisiones que las afectan.

Marco normativo en Paraguay: Avances recientes y desafíos pendientes

Paraguay sancionó la Ley Nro. 7593/2025 de Protección de Datos Personales, promulgada el 27 de noviembre de 2025, y tiene por objeto “… la protección integral de los datos personales de las personas físicas a fin de garantizar el ejercicio pleno de sus derechos y el libre flujo de la información, de conformidad con lo establecido en la Constitución, los tratados internacionales, acuerdos y convenios de los cuales la República del Paraguay es parte.”¹⁵ estableciendo por primera vez en el país un marco legal general aplicable al tratamiento de datos personales. Esta ley es producto de cuatro años de incidencia sostenida, liderada por la coalición de datos personales, junto a organizaciones de la sociedad civil, la academia, y actores del sector público y privado. ¹⁶

La norma incorpora principios relevantes como licitud, transparencia y responsabilidad, crea la Agencia Nacional de Protección de Datos Personales con autonomía funcional para supervisar el cumplimiento, reconoce derechos como el acceso, rectificación, oposición, supresión y portabilidad de datos de forma gratuita. ¹⁷

Sin embargo, su entrada en vigor plena está prevista para noviembre del 2027, otorgando un plazo adecuación de dos años, tanto para el sector público como para el privado. Esto significa que en casos como el de “Emplea PY” ocurrieron en un contexto de vacío normativo que la ley busca subsanar, pero aún no corrige. Además, la ley no regula específicamente el uso de algoritmos en la toma de decisiones automatizadas que afectan derechos fundamentales, lo que deja pendiente una discusión más específica sobre transparencia algorítmica e inteligencia artificial.

Conclusión

Como se ha demostrado a lo largo de este trabajo, la inteligencia artificial no es neutral, Sus resultados dependen de decisiones humanas, y cuando esas decisiones ignoran o reproducen desigualdades estructurales, los sistemas las amplifican y las legitiman con apariencia de objetividad técnica.

Paraguay no es ajeno a este fenómeno; sin embargo la promulgación de la Ley Nro. 7593/2025 representa un avance significativo y largamente esperado, pero su entrada en vigor plena recién en 2027, sumada a la ausencia de una regulación específica sobre decisiones automatizadas, deja un margen de vulnerabilidad que no puede ignorarse. Si bien los estándares interamericanos analizados ofrecen una base jurídica válida para exigir garantías en el entorno digital, su proyección hacia la inteligencia artificial sigue siendo una tarea pendiente, tanto para la jurisprudencia como para el legislador.

De esta manera, el desafío no es solo normativo, sino también institucional y cultural, lo que implica exigir que quienes diseñan e implementan estos sistemas asuman responsabilidad por sus efectos, que las personas afectadas puedan conocer y cuestionar los criterios que las evalúan, y que el Estado ejerza una supervisión efectiva sobre tecnologías que inciden directamente en derechos fundamentales.

Finalmente, cabe decir que Paraguay tiene una oportunidad concreta que consiste en usar el período de adecuación de la nueva ley para avanzar también en estándares específicos sobre inteligencia artificial, antes de que la brecha entre la tecnología disponible y el marco legal se profundice aún más.

Bibliografía

Alexandra, J. J. (s.f.). IBM. Obtenido de ¿Qué es el sesgo algorítmico? : https://www.ibm.com/think/topics/algorithmic-bias

Jonker, A., & Rogers, J. (s.f.). IBM. Obtenido de ¿Qué es el sesgo algorítmico? : https://www.ibm.com/think/topics/algorithmic-bias

Samoili, S., Lopez Cobo, M., Gomez Gutierrez, E., De Prato, G., Martinez-Plumed, F., & Delipetrev, B. (2020). AI WATCH. Defining Artificial Intelligence. Publicatios Office of the European Union.

Jonker, A., & Rogers, J. (s.f.). IBM. Obtenido de What is algorithmic bias? : https://www.ibm.com/think/topics/algorithmic-bias

Roa Avella, M. d., Sanabria-Moyano, J. E., & Dinas-Hurtado, K. (2022). Uso del algoritmo COMPAS en el proceso penal y los riesgos a los derechos humanos. Revista Brasileira de Direito Processual Penal.

State of Wisconsin v. Eric L. Loomis, 2015AP000157-CR (Supreme Court of Wisconsin 13 de Julio de 2016).

Larson, J., Mattu, S., Kirchner, L., & Angwin, J. (23 de Mayo de 2016). Cómo analizamos el algoritmo de reincidencia de COMPAS . ProPublica.

Hardesty, L. (11 de Febrero de 2018). Un estudio revela sesgos de género y tipo de piel en los sistemas comerciales de inteligencia artificial. . MIT News.

Sequera, M., & Cuevas, M. (11 de Febrero de 2025). TEDIC. Obtenido de EmpleaPY: Investigación sobre la automatización de procesos para las políticas de empleo en Paraguay: https://www.tedic.org/empleapy/

Martinez, V. (24 de Febrero de 2025). Resumen De Noticias RDN. Obtenido de ¿Usó el Gobierno IA sin Ley de Datos? El Caso EmpleaPY : https://www.rdn.com.py/2025/02/24/uso-el-gobierno-ia-sin-ley-de-datos-el-caso-empleapy/

Abc. (8 de Marzo de 2026). Obtenido de Negocios: https://www.abc.com.py/negocios/2026/03/08/en-paraguay-5-de-cada-10-empresas-usa-ia-para-seleccion-de-personal/

Abc. (19 de Febrero de 2026). Obtenido de Negocios: https://www.abc.com.py/negocios/2026/02/19/la-carrera-por-la-inteligencia-artificial-y-el-riesgo-no-gobernado/

Humanos, C. A. (1969). Articulo 13.

Caso Olmedo Bustos y Otros vs. Chile (Corte Interamericana de Derechos Humanos 5 de Febrero de 2001).

Fernandez Torres, E. (31 de Septiembre de 2019). Revista UASB. Obtenido de https://revistas.uasb.edu.ec/index.php/foro/article/view/860/2395

Caso Herrera Ulloa Vs. Costa Rica (Corte Interamericana de Derechos Humanos 4 de Julio de 2004).

Biblioteca y Archivo Central del Congreso de la Nacion. (9 de Marzo de 2026). Obtenido de https://www.bacn.gov.py/leyes-paraguayas/12924/ley-n-7593-2025-de-protecci-n-de-datos-personales-en-la-rep-blica-del-paraguay

TEDIC. (28 de Noviembre de 2025). Obtenido de https://www.tedic.org/la-ley-sobre-la-proteccion-de-datos-personales-en-paraguay-un-logro-colectivo-basado-en-evidencia-y-participacion-plural/

Mersan Law. (28 de Noviembre de 2025). Obtenido de Novedades: https://www.mersanlaw.com/novedades/ley-de-proteccion-de-datos-promulgada/

Gafsi, I. (29 de Julio de 2025). Datacamp. Recuperado el Mayo de 2025, de Amazon Rekognition: Análisis de imágenes y vídeos con IA: https://www.datacamp.com/es/tutorial/amazon-rekognition