Así funciona Flock, la plataforma que convierte cámaras de vigilancia en un buscador de personas

Las categorías de búsqueda bloqueadas incluyen la raza o el origen étnico, la religión, la nacionalidad, los “términos subjetivos o sesgados” y el “contenido ofensivo”. Búsquedas que el código describe como contenido sexual, insinuaciones, palabras y frases ofensivas, e insultos. En el modo “vehículo”, la herramienta bloquea cualquier búsqueda que utilice términos relacionados con personas, incluidos el género, la vestimenta y el comportamiento.

La religión y la nacionalidad son las dos únicas categorías que figuran en ambos casos, con un texto para el bloqueo y otro para una advertencia que permite al agente continuar. La expresión política, social y cultural solo se contempla como advertencia.

Flock explica a WIRED que los agentes no pueden realizar búsquedas utilizando atributos prohibidos, incluidas la religión y la nacionalidad, y que cualquier intento de buscar términos prohibidos “será bloqueado”. Al preguntársele en qué circunstancias se emite una advertencia en esas dos categorías, la empresa no dio más detalles.

Cuando una camiseta o una calcomanía para el parachoques genera una advertencia porque el texto incluye expresiones amparadas por “protecciones constitucionales”, se informa a los agentes de que la búsqueda quedará registrada y de que se notificará a los administradores. A continuación, los agentes deben marcar una casilla de aceptación y dejar un comentario antes de poder hacer clic en “Continuar con la búsqueda de todos modos”.

Flock destaca que la advertencia deja margen para el trabajo legítimo y pone como ejemplo a una víctima que describe a un sospechoso con una chaqueta de banda de motociclistas en la que figura: “un determinado logotipo o emblema de la banda que contiene una bandera u otra insignia”. Si un agente sigue adelante, se informa de ello a un administrador de su propio departamento para su revisión.

Kate Ruane, directora del proyecto de libertad de expresión del Centro para la Democracia y la Tecnología, lleva años estudiando cómo funcionan los sistemas de moderación automatizados. La expresión política, social y cultural es “una categoría increíblemente amorfa”, advierte, y una de las razones por las que la búsqueda de un agente podría contener términos relacionados con ella es para averiguar quién asistió a una manifestación. Eso ya ha ocurrido. La categoría preocupa lo suficiente a Flock como para que el sistema muestre una advertencia, señala, “pero aún así se pueden obtener los resultados con solo seguir haciendo clic”.

“Ninguna moderación de contenidos a gran escala es necesariamente precisa”, aclara. El análisis de videos en movimiento, añade, es aún más complicado y suele dar más errores.

Las categorías que sí se bloquean pueden eludirse, refiere Ruane. El sistema bloquea las búsquedas basadas en la religión, pero no en la vestimenta. Esto significa que, en la práctica, un agente podría eludir el bloqueo buscando el atuendo característico que llevan algunos miembros de una confesión religiosa concreta. “A muchas personas les aparecen sus imágenes como resultado de este tipo de búsquedas y probablemente se enfadarían si se enteraran”.

En una búsqueda realizada el año pasado, un agente de California tecleó “bandera estadounidense”. La búsqueda se bloqueó cuando se dirigió a una persona, pero encontró 11,000 cámaras cuando se dirigió a vehículos.