Durante varias horas, hasta la madrugada de ayer jueves, tanto Facebook como las otras plataformas sociales de la compañía (WhatsApp e Instagram) experimentaron problemas de acceso a las mismas, que se tradujeron en la mayoría de los casos en dificultades para mostrar correctamente imágenes y vídeos.
Un efecto secundario de eso fue que, durante varias horas, los atónitos usuarios de Facebook pudieron echar un vistazo a sus newsfeeds prácticamente desprovistos de imágenes y tener la ocasión de ver información que Facebook maneja y que no suele mostrarnos.
Concretamente, durante esas 10 horas de caída parcial pudieron ver cómo, en los huecos destinados a dichas fotos, podíamos encontrar un texto precedido del mensaje "Esta foto pueden contener:" y a continuación una serie de 'etiquetas' que describían brevemente el contenido de las imágenes. Algo así:
Oh yeah! I forgot Facebook uses machine learning to tag our photos with what it sees in the picture.
— Zack Whittaker (@zackwhittaker) 3 de julio de 2019
To be fair, "one person, beard" is pretty much a spot-on description of me. pic.twitter.com/fCpydUxtpz
Lo que revelan unas etiquetas
Pero, ¿por qué es relevante que la existencia de dichas etiquetas? Sencillo: porque desvela hasta qué punto la inteligencia artificial de la plataforma es capaz de extraer datos que nosotros no revelamos por escrito. Subimos fotos a Facebook pensando que sólo nuestros contactos pueden comprender lo que se ve en ellas, y no es así.
Las mejoras experimentadas en los últimos años por las técnicas de deep learning han permitido revolucionar el campo de la visión artificial y lograr que el contenido visual sea, en ocasiones, tan legible y analizable por las máquinas como el almacenado en formato texto.
¿El número de personas que aparecen en la foto? La IA de Facebook lo entiende. ¿Si tienen barba, sonríen, o están en el campo? Lo mismo. ¿Que tienes gatos, perros o un bebé? Igual.
FB's broken AI photo recognition tool left one person out. It's either me or Judas pic.twitter.com/L7bB4uC7tZ
— Ruben Salvadori (@ruben_salvadori) 3 de julio de 2019
Son datos relevantes para hacerse una idea del estatus, gustos y rutinas de los usuarios de Facebook. Se desconoce si los utiliza para ofrecer publicidad personalizada, pero sí se sabe cuándo empezaron a recopilarlos: fue hace 3 años, como parte de un proyecto para mejorar la accesibilidad de la plataforma y facilitar su uso a personas con discapacidad visual.
Para aquellos usuarios que no tuvieron ocasión de comprobar cómo se veía su perfil de Facebook sin fotos y no quieren esperar a que la red social vuelva a caer para saber qué información ha sido capaz de extraer la IA de las mismas, existe una extensión para Google Chrome capaz de mostrarlas.
La extensión de Google Chrome 'Show Facebook Computer Vision Tags' muestra la misma información de manera mucho más agradable y sin necesidad de prescindir de las fotos.
Imagen | Bhupinder Nayyar
Ver 1 comentario
1 comentario
vuler
Bueno, es algo que ya se podía ver antes, no se ha descubierto la pólvora. Esa información no se ocultó en ningún momento, es información que ayuda a la accesibilidad.
Si la empresa analiza de verdad las fotos (que dudo no lo haga), se puede extraer muchísima más información. Para empezar con los metadatos (como el lugar, la hora y el módelo del dispositivo), donde ni siquiera hace falta usar ningún algoritmo sofisticado. Y si ya se utilizan algoritmos de análisis, detectar objetos, personas y lugares es solo el inicio. Puedes crear modelos de dichas personas, "encontrarlas" y... relacionarlas. Porque la información de una foto quizás no da tanta información, pero si tienes la mayor base de datos de imágenes del mundo...