Conexión Fuente AWS S3

Requisitos Previos

Antes de configurar la conexión de origen AWS S3 en Crestone, asegúrese de contar con lo siguiente:

Requisito Principal: Un bucket de AWS S3 activo que contenga los archivos que desea extraer. Crestone se conecta mediante una clave de acceso de IAM (Access Key ID + Secret Access Key) — no se requieren roles de instancia EC2 ni tokens de sesión temporales.

Nota: Crestone utiliza el SDK boto3 en modo cliente estándar. No se requieren bibliotecas cliente adicionales ni una puerta de enlace (gateway) local.

Formatos de archivo admitidos:

Otros tipos de archivos (ej. .txt, .zip, .gz) no se listan al explorar el bucket.

Información Requerida:

Consejo: Puede utilizar las mismas credenciales de AWS tanto para el origen (extracción de archivos) como para el destino (carga de archivos); Crestone los trata como tipos de conexión independientes al crearlos, pero aceptan el mismo formato de credenciales.

Paso de Pre-Verificación

Antes de configurar la conexión en Crestone, verifique sus credenciales y el acceso al bucket mediante la AWS CLI o la Consola de AWS:

1. En la Consola de AWS, vaya a S3 y confirme que el bucket de destino exista y contenga los archivos que desea extraer.
2. Vaya a IAM → Users → su usuario → Security credentials y confirme que la clave de acceso esté en estado Active.
3. Verifique que el usuario IAM tenga al menos los siguientes permisos de S3 sobre el bucket:
   • s3:HeadBucket
   • s3:ListBucket
   • s3:GetObject

Una política IAM mínima para el acceso de origen en Crestone:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:HeadBucket",
        "s3:ListBucket",
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::my-data-lake",
        "arn:aws:s3:::my-data-lake/*"
      ]
    }
  ]
}

Pasos de Configuración

Siga estos pasos para crear una nueva conexión de origen AWS S3 en Crestone:

1. Navegue a Connections en la barra de navegación superior.
2. Seleccione la pestaña Source.
3. Haga clic en el botón + para crear una nueva conexión.
4. Complete el campo Connection Name con un nombre descriptivo (ej. AWS S3 - Data Lake).
5. En el menú desplegable Source Type, seleccione AWS.
6. Complete el formulario de credenciales:
   • Bucket Name — nombre del bucket de S3
   • Region — región de AWS donde se encuentra alojado el bucket
   • Access Key ID — ID de clave de acceso de IAM
   • Secret Access Key — clave de acceso secreta de IAM
7. Haga clic en Test Connection para validar que Crestone pueda comunicarse con el bucket.
8. Una vez superada la prueba, haga clic en Create Source para guardar la conexión.

Edición de una Conexión Existente

Para actualizar las credenciales de una conexión de origen AWS S3 existente:

1. Navegue a Connections y localice su origen AWS S3.
2. Haga clic en Edit.
3. Modifique los campos deseados en el formulario de credenciales.
4. Haga clic en Test Connection para verificar las nuevas credenciales.
5. Haga clic en Confirm para guardar los cambios.

Uso de AWS S3 como Fuente en un Nodo de Extracción

Una vez creada la conexión, puede utilizarla como origen de un Extraction Node. AWS S3 utiliza un modelo de bucket/objeto — no hay esquemas ni tablas.

1. Abra o cree un Extraction Node y diríjase a la pestaña Source.
2. En Select Source, elija su conexión AWS S3.
3. El Bucket mostrado es el almacenado en las credenciales de la conexión; no se puede modificar aquí.
4. (Opcional) Utilice el campo Folder / prefix filter para acotar la lista de archivos (ej. data/2026/) y haga clic en Filter.
5. En File, elija el objeto a extraer. Solo se listan los archivos con una extensión admitida.
6. El File format se detecta automáticamente a partir de la extensión del archivo, pero se puede anular:
   • Para CSV/TSV: configure el Delimiter y active/desactive File has header row.
   • Para Excel (.xlsx/.xls): opcionalmente configure el Sheet name (déjelo en blanco para usar la primera hoja).
   • JSON y Parquet no requieren opciones adicionales.
7. La tarjeta de resumen muestra el archivo seleccionado, el formato detectado y las opciones elegidas.
8. El panel de Preview muestra una muestra de los datos que se extraerán.

Nota: Los archivos de Excel se leen con pandas (motor openpyxl para .xlsx, motor xlrd para .xls). Todos los valores de celda se leen como cadenas de texto para evitar problemas de análisis de números y fechas dependientes de la configuración regional; la inferencia de tipos se realiza posteriormente en el destino.

Manejo de Tipos de Datos

El manejo de tipos depende del formato del archivo de origen:

Los nombres de columna se sanitizan automáticamente antes de la extracción: los caracteres especiales se reemplazan por _, los nombres no pueden comenzar con un dígito y los nombres duplicados se desambiguan (ej. name, name_1). Esto garantiza la compatibilidad con todos los destinos admitidos (SQL Server, Snowflake, Oracle, PostgreSQL, etc.).

Problemas Frecuentes

Permisos Requeridos

Crestone solo realiza operaciones de lectura cuando utiliza S3 como fuente:

No se requieren permisos de escritura (s3:PutObject, s3:DeleteObject) para conexiones exclusivas de origen. Si también utiliza el mismo bucket como destino, agregue s3:PutObject a la política.

Consejo: Para mayor seguridad, cree un usuario de IAM dedicado con acceso de solo lectura al bucket específico utilizado por Crestone como origen, independiente del usuario de IAM utilizado para conexiones de destino S3.