¿Cómo gestionan su memoria Google y Facebook si obtienen enormes cantidades de información agregada a Internet diariamente?

Answer 1

Es con la ayuda de GFS: la arquitectura del sistema de archivos global definida por Red Hat y el sistema de archivos paralelo global definido por IBM.

GFS separa los metadatos (los datos sobre el contenido) de los datos almacenados. Eso permite grandes volúmenes de lectura y escritura paralelas de datos en múltiples réplicas, y el lanzamiento de conceptos como “bloqueo de archivos” en la ventana.

Google desarrolló su propio sistema llamado Google File System.

De manera similar a como la matriz de almacenamiento RAID 5 “divide” los datos en varios discos para obtener protección contra fallas, GFS distribuye los archivos en trozos de tamaño fijo que se replican en un grupo de servidores. Debido a que son computadoras baratas que usan discos duros baratos, algunos de esos servidores están destinados a fallar en un momento u otro, por lo que GFS está diseñado para tolerar eso sin perder (demasiado) datos.

Pero las similitudes entre RAID y GFS terminan ahí, porque esos servidores pueden distribuirse a través de la red, ya sea dentro de un solo centro de datos físico o repartidos en diferentes centros de datos, dependiendo del propósito de los datos. GFS está diseñado principalmente para el procesamiento masivo de gran cantidad de datos. Lo importante es leer datos a alta velocidad, no la velocidad de acceso a una sección particular de un archivo, o la velocidad a la que se escriben los datos en el sistema de archivos. GFS proporciona ese alto rendimiento a expensas de lecturas y escrituras más precisas en archivos y escritura más rápida de datos en disco.

Gracias por la A2A.

Answer 2

A2A
No lo sé exactamente, pero cuando lo comprobé, mostró que tienen enormes unidades de disco duro de exabytes de orden para almacenar los datos.
según un estudio de 2011, los científicos estimaron que hay casi 295 exabytes almacenados en Internet (1 exabyte = 1 millón terabyte), y en 2009 se informó que Google planeaba tener diez millones de servidores y un exabyte para almacenar información.
y sobre el procesamiento de datos, probablemente el procesador de datos más impresionante de todos es el motor de búsqueda de Google que procesa cantidades fenomenales de datos cada vez que alguien realiza una búsqueda en la web, y este Google posee casi el 2% de todos los servidores presentes en la red. mundo.
así que solo diré que es fácil pasar por alto la complejidad y el tamaño de las tecnologías que ejecutan los medios sociales, la computación en la nube o las búsquedas web. Hacer preguntas sobre cómo funcionan estos servicios es esencial para comprender las cosas que ahora damos por sentado.