Faltas de ortografía, la «criptonita» de la API anti-trolls de Google

Hace cosa de unos días os hablamos de Perspective, una API anti-trolls de Google que está diseñada bajo un sistema de inteligencia artificial y apoyada por lo que conocemos como aprendizaje profundo, pero que ha encontrado en las faltas de ortografía su talón de Aquiles.

Ya os contamos que Perspective analiza comentarios que pueden ser tóxicos y los compara con una lista previa que tiene en su base de datos, lo que le permite asignar una puntuación que indica el grado de toxicidad de los mismos. Cuanto más elevada sea dicha puntuación peor debería ser el comentario.

Es efectivo y las primeras pruebas que se hicieron con ella fueron positivas, pero un grupo de investigadores del Network Security Lab en la Universidad de  Washington ha descubierto que es muy fácil engañar a Perspective recurriendo a algo tan simple como las erratas y las faltas de ortografía.

Por ejemplo el uso de «iidiot» en lugar de «idiot» fue suficiente para rebajar en gran medida el índice de toxicidad de los comentarios, y lo mismo ocurría cuando se utilizaban espacios o puntos entre las letras («i.dio.t» o «i d i o t»).

Los expertos también descubrieron que el sistema todavía comete algunos errores importantes y que califica como tóxicos comentarios tan inofensivos como «It’s not stupid and wrong» («No es estúpido ni incorrecto»).

Todo esto confirma que Perspective todavía se encuentra en un estado muy temprano y tiene mucho que mejorar antes de convertirse en una solución verdaderamente viable para ser utilizada a gran escala.

Más información: ArsTechnica.