Los “grandes datos” de Facebook: 500 TB de información generada cada día

Habíamos apuntado que el verdadero valor de Facebook no se encuentra en la publicidad que es capaz de mostrar, sino en la información que generan sus usuarios a cada segundo que pasa… y no nos equivocábamos.

La red social acaba de revelar parte de sus estadísticas en Big Data y el poderío es asombroso. Por ejemplo, se sabe que Facebook procesa 2.500 millones de piezas de contenido y más de 500 terabytes de información cada día. En ese mismo intervalo de tiempo, sus usuarios producen 2.700 millones de “Me gusta” y suben a la red unos 300 millones de fotografías.
“Big Data se trata realmente de obtener conocimiento y provocar algún impacto en tu negocio. Si no te aprovechas del saber que recolectas, entonces sólo posees un montón de datos, no tienes Big Data”, razona el vicepresidente de ingeniería de Facebook, Jay Parikh, tal y como recoge TechCrunch.
Esto implica que, al procesar todos esos datos que se producen en cuestión de minutos, el equipo de Mark Zuckerberg puede comprender mejor las reacciones de sus clientes, implementar nuevos productos y modificar ciertos diseños casi en tiempo real. “Al mirar los datos históricos, podemos validar un modelo antes de su puesta en producción”, añade el directivo. “Basta con poner los datos en una simulación”.
Otro dato revelado es que Facebook almacena más de 100 petabytes de datos en un único disco en clúster de Hadoop, lo que lleva a Parikh a sostener que “operamos con el sistema de Hadoop más grande del mundo”.
Para poder hacer frente a la que se le avecina, la empresa de Menlo Park ha trazado lo que internamente se conoce como Project Prism. En la actualidad toda la vida interna de Facebook está acumulada en un único centro de datos, con instalaciones secundarias encargadas de tareas de redundancia. Cuando sus dimensiones se vuelvan insoportables, se moverá a nuevos espacios diseñados ad hoc sin mayores gastos de recursos.
“Este proyecto nos permitirá tomar este almacén monolítico y separarlo físicamente, pero manteniendo una visión centralizada de los datos”, señalan desde Facebook. De este modo se podrá dividir el contenido a través de los centros que la compañía posee en otras zonas de Estados Unidos o incluso llevarlos a Suecia.