Sistemas escalables de alta carga para procesar Big Data — Blog de Robosoft

Procesamiento por lotes frente a procesamiento en streaming

El procesamiento por lotes gestiona grandes volúmenes de forma programada y es más fácil de razonar; el procesamiento en streaming gestiona los datos a medida que llegan y es necesario cuando las decisiones tienen que tomarse casi en tiempo real. La mayoría de los sistemas acaban necesitando ambos para distintas partes del pipeline.

Distribuir el trabajo

Frameworks como Spark o arquitecturas distribuidas basadas en colas permiten escalar el procesamiento horizontalmente: se añade capacidad añadiendo máquinas en lugar de esperar que un único servidor se vuelva más rápido.

Dónde fallan realmente estos sistemas

No en el camino feliz, sino en los extremos: fallos parciales, datos desordenados y reprocesamiento tras una caída. Diseñar para esos casos desde el principio es lo que distingue un sistema que funciona en pruebas de uno que sobrevive en producción.

Errores habituales

Los sistemas construidos y probados solo con datos de ejemplo limpios y bien ordenados suelen romperse la primera vez que se encuentran con datos de producción: eventos duplicados, llegadas desordenadas, fallos parciales a mitad de un lote. Incorporar desde el principio la idempotencia y el reprocesamiento cuesta poco al inicio y ahorra una adaptación dolorosa más adelante.

Elegir la capa de almacenamiento adecuada

Una base de datos relacional suele ser la opción por defecto correcta hasta que un patrón de acceso concreto demuestre lo contrario: no recurras a un almacén de datos especializado solo porque el volumen parezca grande. Los datos de series temporales, la búsqueda de texto completo y las relaciones en grafo tienen motores de almacenamiento pensados para ellos, pero adoptar uno antes de confirmar que realmente lo necesitas solo añade complejidad operativa sin ningún beneficio.