Integre ClickHouse DBMS con IDrive® e2
ClickHouse es un sistema de gestión de bases de datos orientado a columnas, de código abierto y alto rendimiento, diseñado para el procesamiento analítico en línea (OLAP) en tiempo real y el análisis a gran escala. Admite la ejecución rápida de consultas, el procesamiento distribuido y la compresión eficaz de datos para conjuntos de datos masivos. La integración de ClickHouse con IDrive® e2 le permite mejorar estas capacidades con un almacenamiento de objetos en la nube escalable, seguro y rentable.
Requisitos previos
Antes de empezar, asegúrate de lo siguiente:
- Una cuenta IDrive® e2 activa. Regístrese aquí si no tiene una.
- Un bucket en IDrive® e2. Vea cómo crear un bucket.
- ID de clave de acceso válida y clave de acceso secreta. Aprenda a crear una clave de acceso.
- ClickHouse Server ver.23.0 o posterior debe estar instalado" y la herramienta ClickHouse Backup (Recomendado)
Configurar ClickHouse DBMS con IDrive® e2
- Instale ClickHouse en su servidor Linux Ubuntu.
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list
sudo apt update
sudo apt install clickhouse-server clickhouse-client -y
sudo systemctl start clickhouse-server
2. Configure el disco S3 en ClickHouse utilizando sus claves IDrive® e2
2a. Crear un fichero
/etc/clickhouse-server/config.d/backup_disk.xml
<clickhouse>
<storage_configuration>
<disks>
<s3_backup>
<type>s3</type>
<endpoint>https://idrivee2-endpoint/bucket-name/</endpoint> (Idrive e2 Endpoint : https://v1e8.da.idrivee2-17.com & iDrive e2 Bucket)
<access_key_id>YOUR_ACCESS_KEY</access_key_id>
<secret_access_key>YOUR_SECRET_KEY</secret_access_key>
<s3_max_single_part_upload_size>10485760</s3_max_single_part_upload_size>
<upload_part_size>67108864</upload_part_size>
<s3_max_put_rps>25</s3_max_put_rps>
<metadata_path>/var/lib/clickhouse/disks/s3_backup/metadata</metadata_path>
</s3_backup>
</disks>
</storage_configuration>
</clickhouse>
2b. Reinicie ClickHouse
sudo systemctl restart clickhouse-server
2c. Comprobar el registro
/var/log/clickhouse-server/clickhouse-server.log para confirmación
3. Instalar ClickHouse Backup (Opcional)
Esta herramienta simplifica la copia de seguridad/exportación y la subida a S3:
wget
https://github.com/AlexAkulov/clickhouse-backup/releases/download/v2.5.3/clickhouse-backup
chmod +x clickhouse-backup
sudo mv clickhouse-backup /usr/local/bin/
4. Configure la herramienta ClickHouse Backup
Edita /etc/ClickHouse-backup/config.yml
general:
remote_storage: s3
disable_progress_bar: true
s3:
bucket: clickhouse-backup
endpoint: v1e8.da.idrivee2-17.com
access_key: YOUR_ACCESS_KEY
secret_key: YOUR_SECRET_KEY
use_path_style: true
compression_format: tar
compression_level: 1
5. Ejecutar operaciones de copia de seguridad y restauración
Copia de seguridad de una base de datos específica:
clickhouse-backup create my_backup
clickhouse-backup upload my_backup
Restaurar una base de datos específica:
clickhouse-backup descargar mi_backup
clickhouse-backup restaurar mi_backup
Una vez completada la copia de seguridad, abra la consola IDrive® e2, navegue a su cubo y verifique que la carpeta/archivos de la copia de seguridad existen.
Nota: La restauración de los datos corre a cargo de su proveedor específico de soluciones de copia de seguridad y se ve afectada por múltiples variables que son exclusivas de su entorno. Para consultas/soporte relacionados con la aplicación, se recomienda encarecidamente que solicite asesoramiento al equipo técnico de su proveedor de soluciones de copia de seguridad.