Buenas Prácticas de Planificación
Guía de configuración, monitoreo y optimización para trabajos planificados en Crestone.
Conceptos Clave
El planificador de Crestone permite definir la ejecución periódica y automatizada de extractores, transformaciones y canalizaciones de datos (pipelines). Cada trabajo consume recursos de hardware del servidor durante su ciclo de vida; una planificación deficiente puede provocar contención de CPU, presión sobre la memoria RAM o saturación en los grupos de conexiones a las bases de datos.
Alcance de esta guía Aplica a ambas modalidades de despliegue de Crestone. Las métricas de hardware aplican principalmente a entornos On-Premise. En la modalidad SaaS, la infraestructura subyacente es gestionada integralmente por SEIDOR Analytics.
Métricas de Hardware Recomendadas
Las siguientes tablas describen los umbrales operativos recomendados según el perfil de carga del servidor. Los valores de CPU y memoria RAM se basan en los requerimientos mínimos de instalación de Crestone. Alinear los límites de concurrencia del planificador con estas métricas previene la degradación del servicio.
Perfiles de Servidor
| Perfil | CPU (núcleos) | RAM | Disco | Máx. trabajos concurrentes | Uso objetivo CPU | Uso objetivo RAM |
|---|---|---|---|---|---|---|
| Mínimo | 4 cores | 16 GB | 120 GB | 2–3 | ≤ 60 % | ≤ 65 % |
| Recomendado | 8 cores | 32 GB | 250 GB | 6–8 | ≤ 70 % | ≤ 70 % |
| Producción | 16 cores | 64 GB | 500 GB | 12–16 | ≤ 75 % | ≤ 75 % |
| Alta disponibilidad | 32+ cores | 128+ GB | 1 TB+ | 25+ | ≤ 80 % | ≤ 80 % |
Umbral crítico del servidor Si el consumo sostenido de CPU supera el 85 % o la memoria RAM excede el 90 %, Crestone puede comenzar a encolar trabajos con demoras o descartarlos por falta de recursos. Estos umbrales deben ser monitoreados a nivel de sistema operativo — no desde la interfaz de Crestone. Revise los parámetros de concurrencia y escale el servidor según sea necesario.
Referencia Rápida: Métricas Clave
| Métrica | Valor | Descripción |
|---|---|---|
| CPU por trabajo | 0.5–1 core | Estimación de núcleo lógico por trabajo activo |
| RAM por trabajo | 512 MB | Línea base estimada por extractor / transformación |
| Margen libre de CPU | ≥ 20 % | Reserva continua para picos inesperados de carga |
| Margen libre de RAM | ≥ 25 % | Previene la activación de swap durante picos intensivos |
Configuración Recomendada
Distribución Temporal de Trabajos
- ✅ Programe trabajos de alto impacto computacional (extracciones masivas, uniones complejas) durante ventanas de bajo tráfico operativo: 02:00–06:00.
- ✅ Evite que más de 3 trabajos pesados inicien en el mismo minuto exacto.
- ✅ Utilice horarios de inicio escalonados: si dos trabajos comparten la misma frecuencia horaria, desfase sus inicios por al menos 5 minutos.
- ⚠️ No programe extractores de producción en la misma ventana horaria reservada para copias de seguridad (backups) del servidor o de la base de datos.
- ⚠️ Evite frecuencias de ejecución inferiores a 5 minutos para trabajos que ejecutan consultas no indexadas o escaneos completos de tablas (full table scans).
Prioridades y Colas de Ejecución
- ✅ Asigne prioridad alta únicamente a trabajos de misión crítica para el negocio (por ejemplo, cierres contables diarios, cuadros de mando ejecutivos).
- ✅ Mantenga los trabajos de desarrollo y pruebas en espacios de trabajo independientes a producción para aislar fallos imprevistos y consumo de recursos.
- ✅ En despliegues On-Premise con múltiples orígenes heterogéneos, agrupe los trabajos por sistema de origen o área funcional para simplificar la operación y el diagnóstico de problemas.
Errores Comunes que Deben Evitarse
Efecto Manada (Thundering Herd) Ocurre cuando múltiples trabajos configurados con la misma frecuencia (por ejemplo, cada hora en punto) se lanzan simultáneamente. Escalonar los inicios en ventanas de 2 a 3 minutos reduce drásticamente los picos bruscos de CPU en el servidor.
Dependencias implícitas sin control de orden Si el trabajo B consume datos producidos por el trabajo A, configure explícitamente dicha dependencia en la secuencia. Ejecutar el trabajo B antes de que el trabajo A culmine puede generar datos inconsistentes o conjuntos vacíos sin que Crestone reporte un error visible.
Crecimiento descontrolado del historial de ejecuciones El historial de ejecuciones crece de forma continua si no se depura periódicamente. Se recomienda conservar un máximo de 90 días de historial activo; archive o depure los registros más antiguos para evitar degradar el rendimiento de la base de datos interna de Crestone.
Monitoreo y Alertas
Crestone notifica el resultado de cada ejecución de trabajo. Para una observabilidad completa de su infraestructura, complemente las alertas de Crestone con herramientas de monitoreo a nivel de servidor y sistema operativo.
Alertas disponibles en Crestone
| Evento | Descripción |
|---|---|
| Trabajo finalizado exitosamente | Notificación de éxito emitida cuando la ejecución culmina sin errores en ningún nodo. |
| Trabajo finalizado con errores | Notificación de fallo con detalle técnico del nodo o paso que provocó la detención. |
Métricas para monitorear a nivel de servidor
Las siguientes métricas no son visibles directamente en la interfaz de Crestone y deben configurarse mediante herramientas de monitoreo de infraestructura (por ejemplo, Prometheus, Grafana, Azure Monitor, CloudWatch):
| Métrica | Umbral recomendado de alerta |
|---|---|
| Uso de CPU | Alerta si se mantiene por encima del 80 % durante más de 15 minutos en ejecuciones activas. |
| RAM disponible | Alerta si la memoria disponible cae por debajo de 2 GB en cualquier momento de la ejecución. |
| Espacio en disco | Alerta si el espacio libre es inferior al 15 %, especialmente en la partición que aloja la base de datos interna de Crestone. |
Revisión periódica Revise la configuración de su planificación mensualmente o ante cambios sustanciales en el volumen de datos. Los umbrales de hardware anteriores asumen una carga operativa estable; duplicar el volumen de datos extraído puede requerir actualizar al siguiente perfil de servidor.