Por Nadia Gómez, Rosa Chávez Yacila e Ivana Mondelo en el marco del BootCamp 2021 sobre periodismo, privacidad y derechos digitales en alianza con El Surtidor y Vice Media. Publicado originalmente en Vice Media. Créditos de la imagen: El Surtidor

Las cámaras de vigilancia con reconocimiento facial buscan fortalecer la seguridad pública, en teoría. Pero en la práctica fallan sobre todo cuando se trata de mujeres o personas racializadas.

Hace un par de años, en la capital argentina, el rostro de una empleada doméstica se convirtió en una amenaza. Era mayo de 2019 y, de pronto, se dispararon las alertas en la estación de metro subterráneo de Constitución, en Buenos Aires. Las cámaras de videovigilancia con reconocimiento facial del lugar “detectaron” a una sospechosa. Los agentes de la policía la sacaron del vagón, como a una criminal ranqueada. Mientras, los curiosos agitados gritaban «chorra», “chorra”, una jerga argentina para decir “ladrona”. 

Pudo ser el clímax de una operación policial exitosa. Excepto porque se trataba de una persona inocente. 

La instalación de cámaras de reconocimiento facial en varios países de Latinoamérica tiene derivaciones insospechadas que alertan a los defensores de derechos humanos. Existen estudios y numerosos ejemplos que evidencian que si eres una mujer o una persona marrón o afrodescendiente hay mayor probabilidad de terminar en una celda sin haber cometido ningún delito debido a los errores de esta tecnología. 

Además, sin prevenirlo: las cámaras de videovigilancia prácticamente funcionan en secreto. Casi no es posible saber cuándo están acechando nuestros rostros, o en qué momento pueden cometer una equivocación con nosotros, como ocurrió con la empleada doméstica.

El estudio “Gender Shades”, realizado en 2018 por investigadoras del MIT y la Universidad de Stanford, evaluó los softwares de reconocimiento facial de empresas como IBM, Microsoft y Facebook y encontró que los algoritmos suelen identificar mal a las mujeres afrodescendientes el 35% de las veces. Sin embargo, casi no cometen equivocaciones con hombres blancos: solo en 0.8% de las ocasiones. Otro estudio, realizado también por investigadores del MIT Media Lab, reveló que la tecnología de reconocimiento facial de Amazon incidía en ese mismo error. Las mujeres de piel oscura eran confundidas con hombres el 31% de las veces. 

La empleadora de la mujer detenida en Argentina contó a través de Twitter el minuto a minuto del caso, mientras recibía asistencia de algunos abogados. «Hace 2 horas me llamaron para avisarme que mi empleada doméstica estaba siendo detenida en el subte. En Constitución. Logra mandar algunos mensajes x celular. No le explican mucho», escribió.

“Los algoritmos suelen identificar mal a las mujeres afrodescendientes el 35% de las veces. Sin embargo, casi no cometen equivocaciones con hombres blancos: solo en 0.8% de las ocasiones”.

Llegó lo más rápido que pudo a la estación de subte. La policía le informó que se trataba de una causa de 2006, por estafa, pero que no tenían el expediente. Mientras tanto, a la trabajadora doméstica la tenían esposada en la estación y no dejaban que nadie se le acerque. Se sentía desconcertada.

No había cometido delito alguno, pero pasó casi doce horas detenida e incomunicada. Hasta que la policía la dejó libre tras percatarse de que se trató de un error. La detención fue por una causa prescrita hace siete años, en la que la detenida del subte no era siquiera imputada, sino testigo.

La tecnología se equivoca porque es humana

Los errores de las cámaras de vigilancia con reconocimiento facial son frecuentes. En Río de Janeiro una mujer fue confundida con una asesina que ya estaba en la cárcel, otro hombre fue arrestado por varios días hasta que lo soltaron cuando se dieron cuenta de que fue un error de la tecnología de imágenes. 

Hay más: en Buenos Aires, tras entrar en vigencia, en abril de 2019, un Sistema de Reconocimiento Facial para Prófugos (SRFP) para encontrar a personas con órdenes de detención, al menos hubo ocho identificaciones erróneas hasta 2020. Y en un caso extremo, un trabajador de una avícola estuvo detenido por equivocación durante casi una semana, hasta que la policía supo que no era el delicuente que estaban buscando.

Para comprender por qué las cámaras de videovigilancia caen en errores y en particular con personas racializadas y mujeres, primero hay que saber cómo funciona esta clase de tecnología. 

Estos aparatos permiten identificar a las personas a partir de los rasgos de su rostro. Para ello, se basan en el uso de tecnología biométrica o biometría, que utiliza datos únicos de las personas, como sus características físicas y fisiológicas: huellas dactilares, rasgos faciales o incluso el ADN. También puede basarse en ciertas características de comportamiento, como la voz, la firma, el modo de pararse o caminar.

La tecnología de reconocimiento facial funciona con un software que tiene un algoritmo entrenado para reconocer e individualizar los rasgos de un rostro. Cuando el software “escanea” el rostro de alguien, esta información es contrastada con una base de datos que contiene rostros y datos biométricos de miles de personas. La comparación sirve para determinar si el rostro “escaneado” está registrado en la base de datos. Una vez que el software encuentra una potencial coincidencia, arroja un porcentaje que marca cuán probable es que se trate de la misma persona.

La discriminación también existe en el diseño de programas de reconocimiento facial

De acuerdo al grado de precisión del entrenamiento de los algoritmos, los sistemas de reconocimiento facial pueden ser más o menos discriminatorios. Y es un hecho que los algoritmos están diseñados por personas que, en su gran mayoría, son varones blancos cisgénero. Por ejemplo, en Silicon Valley, más codificadores e ingenieros son hombres blancos o asiáticos, una limitación que sigue sin mejorar en los últimos años. 

En el estudio “Gender Shades”, las investigadoras Joy Buolamwini y Timnit Gembru detectaron que los algoritmos de reconocimiento facial de tres de las empresas más importantes, como IBM, Microsoft y Facebook, tenían mejor funcionamiento al reconocer rostros de varones cis blancos. Rostros de un color de piel distinto, y mujeres, tienden a ser vulnerables a las fallas de estas tecnologías, con tasas de error de más del 20%, y hasta 34% en dos de los tres programas. 

La ONG Asociación por los Derechos Civiles de Argentina, que desde hace varios años investiga el uso de tecnología de reconocimiento facial, afirma que “la decisión sobre el entrenamiento del algoritmo y las tasas de error con la que contará el software biométrico es tanto una cuestión técnica como política”. 

Los softwares de las cámaras de videovigilancia incorporan los sesgos de sus diseñadores o desarrolladores. Por eso, es importante la diversidad en los equipos de trabajo para ampliar las visiones, identificar la existencia de posibles prejuicios y poder evitarlos. Según una encuesta realizada a 2030 trabajadores de empresas de tecnología de entre 18 y 28 años, el 50% respondió que había dejado o quería dejar su trabajo porque la cultura de la empresa lo hacía sentir incómodo. Un gran porcentaje de esas personas eran mujeres, latinos, afrodescendientes o asiáticos. 

“Los softwares de las cámaras de videovigilancia incorporan los sesgos de sus diseñadores o desarrolladores. Por eso, es importante la diversidad en los equipos de trabajo para ampliar las visiones, identificar la existencia de posibles prejuicios y poder evitarlos”.

Pero, aún si se alcanzara más diversidad en los equipos de trabajo podrían persistir otros problemas. Uno determinante: las bases de datos —también diseñadas por personas— a menudo son alimentadas por información de registros policiales. Y los sistemas de la policía también tienen sesgos racistas. En Estados Unidos, las personas afrodescendientes sufren arrestos en tasas más altas que las personas blancas. Cuando se trata de posesión de marihuana, las personas negras tienen casi cuatro veces más probabilidades de ser arrestadas en comparación a una persona de piel clara. 

Empresas cuestionadas detrás de las tecnologías de reconocimiento facial en América Latina

La tecnología de reconocimiento facial tiene cada vez más presencia en América Latina. En “Reconocimiento facial en América Latina: tendencias en la implementación de una tecnología perversa”, un informe de 2021 elaborado por Al Sur, un grupo de organizaciones de la región que trabajan para fortalecer los derechos humanos en el entorno digital, se identificaron 38 iniciativas de reconocimiento facial repartidas en nueve países: Argentina, Brasil, Chile, Colombia, Costa Rica, México, Panamá, Paraguay y Perú. Las mismas fueron implementadas en el marco de distintas políticas públicas. 

De acuerdo al informe de Al Sur, “ninguna de las normativas utilizadas para justificar la implementación de los sistemas de reconocimiento facial ofrece un tratamiento adecuado desde el punto de vista de los derechos humanos”. 

Solo en 14 de los 38 casos documentados, alrededor del 40%, existe una normativa que regula el despliegue de este tipo de tecnología. Además, la mayoría de los sistemas de reconocimiento facial fueron implementados sin ningún tipo de consulta o participación pública, con excepción de un sistema de vigilancia en Chile, en cuya discusión participaron los Consejos Regionales.

Muchas de estas compañías, que en gran parte son extranjeras, tienen cuestionamientos internacionales por presunto involucramiento en la vulneración de derechos humanos. Por ejemplo, las empresas chinas Dahua y Hikvision, a las que Estados Unidos prohibió operar en su territorio, pero cuentan -en el caso de Dahua- con contrataciones millonarias en México. 

Otro caso es la inglesa FaceWatch, cuyo software es utilizado en una de las iniciativas identificadas en Brasil, que fue señalada por mantener acuerdos secretos con la Policía Metropolitana de Londres para acceder a los datos biométricos sobre criminales. Estos son algunos de los ejemplos que se detallan en la investigación de Al Sur.

En el informe “Tecnología de vigilancia en América Latina: hecha en el exterior, utilizada en casa”, realizado por Access Now, organización internacional que defiende los derechos digitales, se da a conocer cómo la mayor parte de la tecnología de vigilancia que se usa en la región proviene de Asia, Europa y Estados Unidos. El documento denuncia que estas empresas extranjeras se caracterizan por la falta de transparencia y escasa rendición de cuentas cuando hacen acuerdos con los gobiernos. 

Por ejemplo, en 2019, cuando en la localidad argentina de Tigre se anunció la ampliación del sistema de reconocimiento facial a través de la firma japonesa NEC, la Asociación por los Derechos Civiles presentó una solicitud de acceso a la información para obtener datos sobre cómo se estaba usando la tecnología y cuáles eran los marcos legales. Sin embargo, tras varios intentos por parte de la Asociación, el gobierno local demoró el proceso y nunca respondió.

Tras el análisis de los casos de Argentina, Brasil y Ecuador, tres de los países latinoamericanos donde más se han desplegado estos sistemas, la investigación concluye que se necesita una discusión más profunda sobre sus alcances: “Los gobiernos deberían llevar a cabo evaluaciones de impacto de derechos humanos antes de tomar una decisión o desplegar un sistema, y negarse a adquirir o usar tecnología de empresas con malos antecedentes de derechos humanos”.

Derechos humanos en riesgo

Los sistemas de reconocimiento facial, cuando son implementados en espacios públicos, se convierten en una tecnología de vigilancia masiva encubierta que afecta a todas las personas que circulan por los alrededores, sin que ellas sepan que están siendo monitoreadas. De pronto, las calles, las estaciones de tren, los restaurantes, los centros comerciales se vuelven una suerte de emboscada. El informe elaborado por Al Sur advierte que cuando esto ocurre se atacan los derechos a la libre circulación, a la privacidad, a la protección de datos personales. 

Al respecto, Joana Varon, directora ejecutiva de Coding Rights, organización brasileña que promueve derechos digitales, dice: “En Coding Rights somos críticas de las tecnologías de vigilancia en masa. Cuando está implementado como instrumento en la narrativa de seguridad pública está vigilando e identificando a cualquiera que pase por delante de las cámaras, constituye un instrumento de vigilancia masiva con potencial de privarnos de nuestra privacidad, la libertad de protesta, la libertad de expresión, entre otros derechos humanos”. 

Como lo explica Varon, el monitoreo y el intento de predicción de comportamientos restringen el derecho a la libre asociación, expresión y reunión pacífica, pues dan lugar al perfilamiento de activistas o manifestantes y vulneran su anonimato. También, facilitan la criminalización o persecución de expresiones legítimas. 

El esfuerzo por mayor control se agudiza cuando se trata de protestantes racializados. En Estados Unidos se ha empleado el reconocimiento facial para vigilar a los manifestantes de Black Lives Matter. También es sabido que el FBI tiene una larga historia de seguimiento de reconocidos activistas y líderes negros.

Además, las tecnologías de identificación que emplean la biométrica procesan información sensible que tiene que ver con los cuerpos de las personas. Por ello son altamente intrusivas. En Brasil, una empresa concesionaria del metro de Sao Paulo recibió una cuantiosa multa debido a que, sin aviso ni consentimiento, recolectaba con su sistema de cámaras las reacciones de los usuarios frente a avisos publicitarios. 

Varios grupos de la sociedad civil en la Unión Europea, EE.UU, India, Rusia se manifiestan en contra del uso de tecnologías de reconocimiento facial y otras tecnologías de vigilancia biométrica. Pero la resistencia también está presente en América Latina. Joana Varon mencionó el proyecto de ley que impulsa la municipalidad de Río de Janeiro y que intenta conseguir la prohibición de esta tecnología. “Es el primer proyecto de ley de este tipo en Brasil”, dijo Varon. 

La mirada patriarcal extiende su dominio con las cámaras en espacios públicos

Bajo una perspectiva de género, la videovigilancia, a través de cámaras de reconocimiento facial, puede ser una forma de perpetuar el desequilibrio existente en las relaciones de género, en lugar de instalar la confianza o la seguridad para las personas expuestas a la mirada escrutadora de las tecnologías de vigilancia.

En general, los lugares elegidos para su instalación suelen ser los centros comerciales y áreas de transporte urbano público, como estaciones de metro, ferrocarril y estaciones de ómnibus. Por otro lado, quienes negocian su incorporación son directores de estos centros comerciales o políticos y alcaldes de las ciudades. También están aquellos que mantienen la vigilancia: la policía y los guardias privados.

Quienes se encargan de decidir dónde opera la vigilancia son en su mayoría varones, mientras que las mujeres son quienes pasan más tiempo en el espacio público realizando tareas vinculadas a los cuidados, como las compras diarias o llevando a niñas y niños a la escuela. Además, en ciudades latinoamericanas, se estima que más de la mitad de las usuarias de los sistemas de transporte público son mujeres. Y la mayoría de las personas «detrás» de las cámaras son varones, mientras que la mayoría de las personas «bajo» vigilancia son mujeres.

Además, la tecnología, la policía y la seguridad son áreas de trabajo masculinizadas y eso se refleja en los equipos que desarrollan esas tareas, en donde los puestos de trabajo son ocupados por varones más a menudo, como se ha documentado en Estados Unidos. Es decir que, en su rutina diaria, la vigilancia también reproduce formas patriarcales de poder.

“Quienes se encargan de decidir dónde opera la vigilancia son en su mayoría varones, mientras que las mujeres son quienes pasan más tiempo en el espacio público realizando tareas vinculadas a los cuidados”.

Pero la tecnología de reconocimiento facial no solo atenta contra las mujeres, también representa una amenaza más para mujeres, personas trans y no binaries. Según una investigación de Coding Rights sobre tecnologías de reconocimiento facial como herramienta para autenticar identificaciones para acceder a servicios públicos en Brasil, la percepción del 90,5 % de las personas trans entrevistadas es que esta tecnología puede funcionar desde una perspectiva transfóbica. Mientras que un 95,2 % tiene la impresión de que esta implementación puede dejarlas vulnerables a situaciones de vergüenza y así reforzar el estigma hacia las personas trans. 

Las personas trans y no binaries se ven expuestas a otro tipo de sesgos por parte de los softwares de reconocimiento facial: la construcción de una clasificación binaria de la identidad. El estudio “The Misgendering Machines” de Os Keyes, publicado en 2018, analizó treinta años de investigación sobre reconocimiento facial y descubrió que los investigadores siguieron un modelo binario de género más del 90% de las veces. Y en investigaciones centradas en género lo vieron como una construcción fisiológica en más del 80% de los casos. 

La investigadora Marianne Díaz señala la importancia de visibilizar los potenciales efectos de discriminación de poblaciones minoritarias que, por la misma naturaleza de los sistemas biométricos, “buscan clasificar al individuo como parte de una taxonomía predefinida, dejando fuera a todo aquel que no encaje correctamente en las categorías establecidas”. En otras palabras, si no perteneces al molde hegemónico de raza y género, te estarán vigilando más.