Colas de mensajes y tareas en segundo plano

Por qué tu app web necesita tareas en segundo plano

Cuando un usuario hace clic en "Registrarse" o "Realizar pedido", espera una respuesta rápida. Pero muchas operaciones que se activan con ese clic —enviar un correo de bienvenida, generar una factura en PDF, redimensionar una imagen subida o sincronizar datos con una API externa— pueden tardar segundos o incluso minutos. Si realizas estas tareas de forma síncrona durante la petición, el usuario espera y tu servidor consume recursos. Las tareas en segundo plano lo resuelven sacando el trabajo del ciclo petición-respuesta.

Las colas de mensajes son la columna vertebral de los sistemas de tareas en segundo plano. Permiten que tu app web encole una tarea y devuelva una respuesta de inmediato, mientras procesos worker independientes recogen las tareas y las ejecutan de forma asíncrona. Esto desacopla la capa web de la capa de procesamiento, mejorando la capacidad de respuesta, la fiabilidad y la escalabilidad.

Conceptos clave: colas, productores y consumidores

En su forma más simple, una cola de mensajes es un búfer que almacena mensajes hasta que un consumidor los recupera. Los componentes son:

• Productor: Tu aplicación web (o cualquier servicio) que crea un mensaje y lo envía a la cola.
• Cola: El mecanismo de almacenamiento que contiene los mensajes. Puede ser en memoria (como Redis) o un broker dedicado (como RabbitMQ).
• Consumidor (Worker): Un proceso independiente que escucha la cola, extrae mensajes y ejecuta la tarea.

Este patrón se conoce a menudo como productor-consumidor o publicación-suscripción (si varios consumidores pueden actuar sobre el mismo mensaje). El beneficio clave es el desacoplamiento: el productor no necesita saber quién procesa la tarea ni cuánto tarda.

Casos de uso comunes para tareas en segundo plano

Las tareas en segundo plano son ideales para cualquier tarea que no sea necesario completar antes de enviar una respuesta al usuario. Ejemplos típicos incluyen:

• Envío de correos: Correos de bienvenida, restablecimientos de contraseña, boletines.
• Procesamiento de imágenes y vídeo: Generación de miniaturas, compresión, marcas de agua.
• Generación de informes: Facturas en PDF, exportaciones CSV, paneles de analítica.
• Llamadas a APIs externas: Procesamiento de pagos, consultas de tarifas de envío, sincronizaciones con CRM.
• Limpieza de datos: Eliminar registros antiguos, archivar logs, recalcular estadísticas.
• Tareas programadas: Resúmenes diarios, precalentamiento de caché, copias de seguridad de bases de datos.

Si una tarea puede retrasarse unos segundos sin perjudicar la experiencia del usuario, es candidata a ser una tarea en segundo plano.

Elegir la herramienta adecuada para el trabajo

La cola de mensajes adecuada depende de tu escala, tus necesidades de fiabilidad y tu stack existente. Aquí tienes una comparación de opciones comunes:

Para muchas apps web, empezar con Redis o una cola basada en base de datos es suficiente. A medida que creces, puedes migrar a un broker más robusto como RabbitMQ o Kafka.

Implementar tareas en segundo plano: guía paso a paso

Veamos una implementación básica usando Python, Celery y Redis. Los mismos principios se aplican a otros stacks (ej., Node.js con Bull, Ruby con Sidekiq, Go con Machinery).

1. Configurar Redis y Celery

Instala Redis y la librería Celery. Configura Celery para usar Redis como broker y backend de resultados.

# Install dependencies
pip install celery redis

# Start Redis server (if not already running)
redis-server

2. Definir una aplicación Celery

Crea un archivo tasks.py que inicialice Celery y defina una tarea en segundo plano.

from celery import Celery

app = Celery('tasks', broker='redis://localhost:6379/0')

@app.task
def send_welcome_email(user_id):
    # Simulate sending an email
    print(f"Sending welcome email to user {user_id}")
    # In production, integrate with an email service
    return f"Email sent to user {user_id}"

3. Encolar una tarea desde tu app web

En tu framework web (ej., Flask, Django), llama a la tarea de forma asíncrona. El método .delay() encola la tarea y devuelve el control de inmediato.

from tasks import send_welcome_email

@app.route('/signup', methods=['POST'])
def signup():
    # ... create user in database ...
    send_welcome_email.delay(user_id=123)
    return {"status": "success"}, 202

4. Ejecutar procesos worker

Inicia uno o varios procesos worker que escuchen la cola y ejecuten las tareas.

celery -A tasks worker --loglevel=info

Ahora, cuando un usuario se registra, la app web devuelve una respuesta 202 Accepted de inmediato, y el worker envía el correo en segundo plano.

Buenas prácticas para tareas en segundo plano fiables

Las tareas en segundo plano introducen nuevos modos de fallo. Sigue estas prácticas para mantener tu sistema robusto:

• Idempotencia: Diseña las tareas para que puedan ejecutarse varias veces sin efectos secundarios. Por ejemplo, comprueba si un correo ya se envió antes de enviarlo de nuevo.
• Reintentos con backoff: Configura reintentos automáticos para fallos transitorios (ej., timeouts de red). Usa backoff exponencial para no saturar servicios externos.
• Colas de mensajes muertos: Enruta los mensajes fallidos a una cola separada para inspección manual tras un número máximo de reintentos.
• Monitorización y alertas: Controla la longitud de la cola, las tasas de éxito/fallo de tareas y la salud de los workers. Herramientas como Flower (para Celery) o Prometheus pueden ayudar.
• Apagado ordenado: Asegúrate de que los workers terminen las tareas actuales antes de finalizar para no perder trabajo.
• Limitación de tasa: Limita las tareas que llaman a APIs externas para mantenerte dentro de las cuotas.

Escalar tu sistema de tareas en segundo plano

A medida que tu app crece, necesitarás escalar tanto la cola como los workers. Las estrategias incluyen:

• Escalado horizontal: Añade más procesos worker o máquinas. La mayoría de las colas admiten múltiples consumidores.
• Colas de prioridad: Separa las tareas de alta prioridad (ej., restablecimientos de contraseña) de las de baja prioridad (ej., analítica).
• Procesamiento por lotes: Agrupa tareas similares para reducir la sobrecarga.
• Sharding: Distribuye las colas entre varios brokers si alcanzas límites de rendimiento.

Recuerda que añadir workers aumenta la concurrencia, lo que puede tensionar bases de datos o APIs externas. Monitoriza el uso de recursos y ajusta en consecuencia.

FAQ

¿Cuál es la diferencia entre una cola de mensajes y una tarea en segundo plano?

Una cola de mensajes es la infraestructura que transporta mensajes, mientras que una tarea en segundo plano es la unidad de trabajo representada por un mensaje. Encolas una tarea (mensaje) en una cola y un worker la procesa.

¿Necesito un broker de mensajes separado como RabbitMQ?

No necesariamente. Para muchas apps web, Redis o incluso una tabla de base de datos pueden servir como cola simple. Usa un broker dedicado cuando necesites enrutamiento avanzado, entrega garantizada o alto rendimiento.

¿Cómo manejo las tareas en segundo plano fallidas?

Implementa reintentos con backoff exponencial y un número máximo de reintentos. Después, mueve la tarea a una cola de mensajes muertos para revisión manual. Registra siempre los fallos con suficiente contexto para depurar.

¿Listo para optimizar el rendimiento de tu app web? Empieza delegando tu primera tarea en segundo plano. Y cuando necesites procesar PDFs o imágenes en esas tareas, echa un vistazo a nuestro PDF Compressor para reducir el tamaño de los archivos antes de enviarlos a los usuarios.