Destinos de Datos (Destinations)

Crestone permite exportar, replicar y sincronizar datos empresariales extraídos desde sistemas SAP y bases de datos relacionales hacia una amplia variedad de motores de almacenamiento destino, bases de datos relacionales, data warehouses y data lakehouses modernos.

Categorías de Destinos Soportadas

Crestone organiza las conexiones de destino en cuatro categorías principales:

1. Suite SAP

Entornos de destino dentro del ecosistema corporativo de SAP:

• SAP HANA: Base de datos columnar en memoria que permite analítica de alta velocidad y reportes operacionales directamente en estructuras nativas de SAP.
• SAP ASE (Sybase): Motor empresarial de base de datos relacional de alto rendimiento.

2. Bases de Datos Relacionales

Sistemas de gestión de bases de datos relacionales (RDBMS) estándar para almacenes de datos operacionales, staging transaccional y reportería:

• Azure SQL Server: Servicio de base de datos relacional totalmente administrado de Microsoft en Azure.
• MS SQL Server: Instancias de Microsoft SQL Server tanto locales (on-premises) como alojadas en la nube.
• PostgreSQL: Sistema de base de datos relacional de código abierto, compatible con instalaciones locales, AWS RDS, Azure Database for PostgreSQL y Supabase.
• Oracle: Esquemas y bases de datos conectables (PDB) de Oracle Database empresarial (12c, 19c, 21c, 23c).
• MySQL: Motor de base de datos relacional de código abierto, compatible con MySQL 5.7, 8.0, 8.4 LTS y variantes en la nube (AWS Aurora, Google Cloud SQL).
• IBM DB2: Instancias empresariales de DB2 LUW (Linux, UNIX, Windows) conectadas mediante JDBC.

3. Almacenamiento en la Nube y Servidores de Archivos

Servicios de almacenamiento de objetos y repositorios de red para almacenar extracciones en bruto y conjuntos de datos en formato CSV o Parquet:

• Amazon S3: Buckets de Amazon Simple Storage Service distribuidos en regiones globales de AWS.
• Azure Storage: Contenedores de Azure Blob Storage y Azure Data Lake Storage (ADLS) Gen2.
• Google Cloud Platform (GCS): Buckets de Google Cloud Storage autenticados mediante claves JSON de Cuentas de Servicio (Service Account).
• Windows File Server: Recursos compartidos de red (SMB/CIFS) alojados en servidores Windows o entornos de dominio.

4. Data Warehouses y Lakehouses

Plataformas analíticas y data warehouses modernos en la nube optimizados para procesamiento a gran escala, BI y aprendizaje automático:

• Snowflake: Plataforma de datos en la nube compatible con inserción directa en tablas y carga mediante stages internos o externos.
• Microsoft Fabric: Plataforma analítica de última generación con integración directa a OneLake (tablas y archivos Delta Parquet).
• Databricks: Motor unificado de analítica y plataforma Lakehouse impulsada por Apache Spark y Delta Lake.
• Google Cloud BigQuery: Data warehouse empresarial en la nube, serverless y de alta escalabilidad.
• Amazon Redshift: Data warehouse rápido a escala de petabytes en AWS con soporte de staging en S3.
• Teradata: Base de datos analítica empresarial con soporte de modos de transacción clásicos TERA y ANSI.

Modos de Carga en Crestone

Al configurar un nodo de extracción que envía datos a un destino, Crestone admite patrones de ingesta flexibles:

• Ingesta Directa en Tablas (Table): Los datos se escriben directamente en tablas relacionales o de data warehouse. Crestone infiere automáticamente los tipos de datos del origen y crea el esquema y la tabla destino si no existen.
• Ingesta en Archivos de Stage: Los datos se entregan como archivos columnares optimizados (Apache Parquet) o de texto estándar (CSV) en capas de almacenamiento temporal (por ejemplo, Snowflake Stage, S3, Azure Blob, OneLake Files) para su procesamiento asíncrono o canalizaciones ELT.
• Truncado e Inserción (Truncate & Insert): Opción para limpiar los datos existentes de la tabla destino antes de cada ejecución, asegurando una instantánea limpia del origen.
• Carga Incremental y CDC: Inserción de registros nuevos y modificados mediante marcas de agua temporales (watermarks) o identificadores de Change Data Capture (CDC), minimizando el ancho de banda de red y los tiempos de carga en el destino.

Flujo de Configuración de un Destino

1. Diríjase a Connections en el menú principal.
2. Seleccione la pestaña Destination.
3. Haga clic en el botón + para crear una nueva conexión.
4. Seleccione el tipo de destino deseado en el menú desplegable.
5. Ingrese las credenciales de autenticación, servidor/endpoint, puerto, base de datos y parámetros de esquema requeridos.
6. Haga clic en Test Connection para verificar la conectividad de red y validar las credenciales.
7. Haga clic en Create Destination para guardar la configuración. Una vez creado, el destino podrá ser seleccionado en cualquier nodo de extracción.