¿Qué pasa cuando una decisión automatizada produce efectos significativos en una persona?

El reciente caso del juez argentino investigado tras el reporte automatizado de Google por almacenamiento de material CSAM (Child Sexual Abuse Material) abre una discusión jurídica, institucional, pero sobre todo de dependencia de plataformas tecnológicas y principios en materia de protección de datos personales. 

Qué ocurrió

Un Juez penal de Tierra del Fuego instruyó en 2016 una causa por delitos sexuales contra menores. El expediente contenía legítimamente imágenes dicho delitos y en ejercicio de sus funciones imágenes constitutivas de delitos. Años después, al hacer un respaldo de su computador laboral, esos archivos terminaron, sincronizados en su Google Drive personal.

El sistema automatizado de Google detectó el material, suspendió su cuenta y reportó el hallazgo al NCMEC (National Center for Missing & Exploited Children), conforme exige la ley federal estadounidense. De ese reporte se derivó una comunicación a la fiscalía de cibercrimen de Argentina, se ordenó un allanamiento sobre el domicilio y oficina del Juez, se abrió una causa penal y una campaña mediática devastadora. Meses después fue sobreseído ya que la justicia declaró la absoluta inexistencia de conducta delictiva.

Lo que Google hizo 

La detección de material de abuso sexual infantil y su reporte obligatorio existen para proteger a víctimas reales. La "tolerancia cero" actúa como respuesta a un fenómeno gravísimo donde admitir excepciones por "razones profesionales" podría abrir una puerta peligrosísima y una plataforma comercial no debe pretender ser un repositorio de evidencia judicial ni un árbitro del contexto legal de cada archivo que aloja. El problema al parecer no es que Google detecte y reporte, sino cómo se procesa, ya que un sistema es capaz de identificar un archivo, pero incapaz de comprender el contexto jurídico de ese archivo, calificando la conducta de una persona y desencadenando un proceso penal que afectó considerablemente los derechos, libertades y reputación del juez.

Así, el caso es extremadamente delicado por dos aristas igualmente legítimas:

• la obligación absoluta de perseguir y denunciar material de abuso sexual infantil;
• y la obligación de proteger derechos fundamentales cuando existen decisiones automatizadas con consecuencias que produzcan efectos jurídicos en el titular o le afecte significativamente.

En Chile, ¿Qué derechos y garantías existen frente a una decisión automatizada?

En nuestro país, conforme a la Ley N° 19.628 y sus modificaciones por la Ley N° 21.719, sobre Protección de los Datos Personales, por primera vez el ordenamiento jurídico chileno, reconoce expresamente el derecho del titular a oponerse y a no ser objeto de decisiones basadas en el tratamiento automatizado de datos, incluida la elaboración de perfiles, cuando esas decisiones produzcan efectos jurídicos o afecten significativamente a la persona. 

Sin embargo, la ley indica que este derecho a oponerse no procederá en los siguientes casos:

• Cuando la decisión sea necesaria para la celebración o ejecución de un contrato entre el titular y el responsable.
• Cuando exista consentimiento previo y expreso del titular en la forma prescrita en el artículo 12.
• Cuando lo señale la ley, en la medida en que ésta disponga el empleo de salvaguardas a los derechos y libertades del titular.

Sin perjuicio de lo anterior, la Ley entrega al titular, en todos los casos, incluidas las excepciones mencionadas anteriormente, los siguientes derechos que se pueden traducir en garantías operativas: 

• A la intervención humana 
• El derecho a la información y transparencia
• El derecho a obtener una explicación
• Que el titular pueda expresar su punto de vista
• Y a solicitar la revisión de la decisión

Si este caso hubiese ocurrido en Chile y bajo el marco de la nueva ley Sobre Protección de los Datos Personales, la pregunta relevante entonces, no sería si el algoritmo acertó. Sería si el titular tuvo, en algún momento del proceso, las condiciones reales para oponerse, en caso de que pudiese hacerlo, o el conocimiento sobre los derechos que le concede la ley.