SKILL.md
celery
Celery es el framework de cola de tareas distribuido que gestiona la ejecución de todos los trabajos computacionalmente intensivos del pipeline KYC (inferencia ML, procesamiento de imagen, OCR).
When to use
Usar en el workerpoolagent como motor de ejecución de tareas. El orquestador encola tareas en Celery y los workers las procesan de forma asíncrona.
Instructions
- Instalar:
pip install celery[redis]. - Configurar app:
``python app = Celery('verifid', broker='redis://localhost:6379/0', backend='redis://localhost:6379/1') app.conf.taskserializer = 'json' app.conf.resultserializer = 'json' ``
- Definir tareas con
@app.task(bind=True, max_retries=3). - Configurar colas por prioridad:
task_routes = {'liveness.*': {'queue': 'realtime'}}. - Arrancar workers:
celery -A verifid worker -Q realtime,gpu,cpu --concurrency=4. - Configurar
taskackslate=Truepara no perder tareas si el worker muere. - Habilitar
taskrejectonworkerlost=True.
Notes
- Usar JSON como serializador (nunca pickle por seguridad).
- Cada worker debe tener los modelos ML precargados; ver skill
model_warmup. - Monitorizar con Celery Flower para visibilidad en tiempo real.