Enlaces relacionados

    ¿Cómo utilizar Snowflake con IDrive® e2?

    Snowflake ha sido verificado para su uso con IDrive® e2. También puede visitar la documentación de Snowflake sobre la configuración del almacenamiento de objetos en la nube en caliente IDrive® e2 para obtener más referencias.

    Utilizando Snowflake con IDrive® e2 podrá:

    • Cree una tabla Snowflake externa para consultar un conjunto de datos particionado existente de IDrive® e2 Cloud Storage.
    • Copie los datos de Snowflake a IDrive® e2 y póngalos a disposición de las aplicaciones y herramientas compatibles con el almacenamiento de objetos en la nube.
    • Migre sus datos desde Snowflake y aproveche los precios predecibles de IDrive® e2, especialmente para almacenar datos a los que se accede con poca frecuencia.

    Este artículo explica cómo realizar las siguientes tareas:

    1. 1. Crear hoja de cálculo SQL en Snowflake
    2. 2. Crear un escenario externo
    3. 3. Crear una tabla externa
    4. 4. Copiar datos en una tabla Snowflake desde IDrive® e2
    5. 5. Copiar datos de una tabla Snowflake a IDrive® e2
    6. 6. Utilizar Snowflake para consultar datos existentes en IDrive® e2

    Requisitos previos:

    1. Una cuenta IDrive® e2 activa. Regístrese aquí si no tiene una.
    2. Un conjunto de datos compatible con Snowflake cargado en su bucket IDrive® e2. Vea cómo crear un bucket y añadirle objetos.
    3. Una cuenta Snowflake activa.
    4. Comprensión de la terminología de Data Lake / Data Warehouse y uso básico de Snowflake.

    Cargue datos en su IDrive® e2 Bucket

    Para utilizar tablas externas Snowflake con IDrive® e2, debe tener un conjunto de datos que desee leer desde IDrive® e2.

    El siguiente conjunto de datos de ejemplo dataset_snowflake.csv reside en el cubo de nieve de la región de Virginia. La ruta a los datos será //snow

    Crear hoja de cálculo SQL

    Acceda a su cuenta Snowflake y haga clic en y seleccione Hoja de cálculo SQL. Puede escribir consultas de datos en IDrive® e2 y ejecutarlos desde esta hoja de cálculo.

    Crear base de datos Snowflake

    Después de crear la Hoja de Cálculo, necesita crear una Base de Datos para contener la información sobre la Tabla Externa y cualquier dato relacionado. Crearemos una base de datos e2_sample_database.

    Copie y pegue los dos comandos siguientes en la hoja de cálculo:

    CREATE DATABASE e2_sample_database;
USE BASE DE DATOS e2_base_de_muestra;

    El primer comando creará la base de datos. El segundo la seleccionará para utilizarla en posteriores consultas en la hoja de cálculo. Para ejecutar los comandos, seleccione el SQL y haga clic en en la esquina superior derecha.

    Crear un objeto de escenario Copo de nieve

    Deberá crearse un objeto stage en Snowflake para indicar dónde se guardan o organizan sus datos. Crearemos una referencia al bucket IDrive® e2 con la región y las credenciales de Access Keys.

    Crearemos un objeto de escenario s3_e2 en este ejemplo y utilizaremos la URL del punto final para la región de Virginia, y el ID de la clave de acceso y la clave secreta de IDrive® e2.

    crear o sustituir etapa s3_e2
url = 's3compat://snow'
endpoint = 'k3d1.va21.idrivee2-1.com'
credenciales = (AWS_KEY_ID = 'xxx' AWS_SECRET_KEY = 'xxx');

    Enumerar los datos de su IDrive® e2 Bucket

    Una vez creado el objeto de escenario puede listar el contenido de los archivos dentro de su nieveIDrive® e2 Bucket.

    Llamaremos a la lista consulta sobre el nombre del escenario.

    LISTA @s3_e2;

    Crear una tabla externa Snowflake

    Una vez listados los contenidos del Cubo IDrive® e2, podemos crear una Tabla Externa Snowflake que se utilizará para consultar sus datos. Deberá actualizar el nombre de la etapa y el tipo de formato de archivo según el conjunto de datos y el nombre elegido para la etapa.

    CREATE OR REPLACE EXTERNAL TABLE e2_user_ref
WITH LOCATION = @s3_e2/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1)
PATTERN='dataset_snowflake.csv';

    Copiar datos en una tabla Snowflake desde IDrive® e2

    Una vez que haya creado una tabla, puede copiar los datos de su almacenamiento IDrive® e2 en una tabla Snowflake. 

    copiar en @s3_e2_sj/snow-test-sj/user-details
de user_details
formato_archivo = csv
header = true;

    Copiar datos de una tabla Snowflake a IDrive® e2

    También puede copiar datos de una tabla Snowflake a su almacenamiento IDrive® e2.

    copiar en user_details de @s3.e2
files = ('dataset_snowflake.csv')
on_error = continuar;

    Realice una consulta de sus datos

    Después de crear la tabla, también puede ejecutar algunas consultas con sus datos para validarlos.

    Ahora ha aprendido a crear una tabla externa Snowflake que hace referencia a los datos que residen en IDrive® e2.