Integração com o ClickHouse Cloud

Conecte suas fontes de dados externas ao ClickHouse Cloud sem esforço.

​

Introdução

ClickPipes é uma plataforma de integração gerenciada que torna a ingestão de dados de um conjunto diverso de fontes tão simples quanto clicar em alguns botões. Projetada para as workloads mais exigentes, a arquitetura robusta e escalável do ClickPipes garante desempenho e confiabilidade consistentes. O ClickPipes pode ser usado para necessidades contínuas de streaming de longo prazo ou para uma carga de dados pontual.

O ClickPipes pode ser implantado e gerenciado manualmente usando a UI do ClickPipes, bem como de forma programática com OpenAPI e Terraform.

​

Fontes de dados compatíveis

Nome	Tipo	Status	Descrição
Apache Kafka	Streaming	Estável	Configure o ClickPipes e inicie a ingestão de dados em streaming do Apache Kafka para o ClickHouse Cloud.
Confluent Cloud	Streaming	Estável	Aproveite o poder combinado do Confluent e do ClickHouse Cloud por meio da nossa integração direta.
Redpanda	Streaming	Estável	Configure o ClickPipes e comece a ingerir dados de streaming do Redpanda no ClickHouse Cloud.
AWS MSK	Streaming	Estável	Configure o ClickPipes e inicie a ingestão de dados em streaming do AWS MSK no ClickHouse Cloud.
Azure Event Hubs	Streaming	Estável	Configure o ClickPipes e comece a ingerir dados em streaming do Azure Event Hubs no ClickHouse Cloud. Consulte o FAQ do Azure Event Hubs para mais orientações.
WarpStream	Streaming	Estável	Configure o ClickPipes e inicie a ingestão de dados em streaming do WarpStream no ClickHouse Cloud.
Amazon Kinesis	Streaming	Estável	Configure o ClickPipes e comece a ingerir dados em streaming do Amazon Kinesis no ClickHouse Cloud.
GCP Pub/Sub	Streaming	Prévia privada	Configure o ClickPipes e comece a ingerir dados em streaming do Google Cloud Pub/Sub no ClickHouse Cloud.
Amazon S3	Armazenamento de objetos	Estável	Configure o ClickPipes para ingerir grandes volumes de dados do armazenamento de objetos.
Google Cloud Storage	Armazenamento de objetos	Estável	Configure o ClickPipes para ingerir grandes volumes de dados do armazenamento de objetos.
DigitalOcean Spaces	Armazenamento de objetos	Estável	Configure o ClickPipes para ingestão de grandes volumes de dados a partir do armazenamento de objetos.
Azure Blob Storage	Armazenamento de objetos	Estável	Configure o ClickPipes para ingestão de grandes volumes de dados a partir do armazenamento de objetos.
Postgres	DBMS	Estável	Configure o ClickPipes e comece a importar dados do Postgres para o ClickHouse Cloud.
MySQL	DBMS	Beta público	Configure o ClickPipes e comece a importar dados do MySQL para o ClickHouse Cloud.
MongoDB	DBMS	Prévia privada	Configure o ClickPipes e comece a ingerir dados do MongoDB no ClickHouse Cloud.

Mais conectores serão adicionados ao ClickPipes. Para saber mais, entre em contato conosco.

​

Autenticação de banco de dados com AWS IAM

O ClickPipes oferece suporte à autenticação de banco de dados com AWS IAM para Amazon RDS e Aurora. A configuração varia de acordo com o mecanismo de banco de dados e o serviço da AWS, portanto escolha o guia de configuração da origem correspondente ao seu banco de dados:

Mecanismo de banco de dados	Serviço da AWS	Guia de configuração
PostgreSQL	Amazon RDS	RDS para PostgreSQL
PostgreSQL	Amazon Aurora	Aurora PostgreSQL-Compatible Edition
MySQL	Amazon RDS	RDS para MySQL
MySQL	Amazon Aurora	Aurora MySQL-Compatible Edition
MariaDB	Amazon RDS	RDS para MariaDB

​

Lista de IPs estáticos

A lista de IPs estáticos de NAT do ClickPipes foi movida para a documentação de rede do ClickPipes.

​

Ajustando as configurações do ClickHouse

O ClickHouse Cloud fornece padrões adequados para a maioria dos casos de uso. No entanto, se você precisar ajustar algumas configurações do ClickHouse para as tabelas de destino do ClickPipes, uma função dedicada para o ClickPipes é a solução mais flexível. Etapas:

1. crie uma função personalizada CREATE ROLE my_clickpipes_role SETTINGS .... Consulte a sintaxe de CREATE ROLE para mais detalhes.
2. adicione a função personalizada ao usuário do ClickPipes na etapa Details and Settings, durante a criação do ClickPipes.

​

Ajustando as configurações avançadas do ClickPipes

O ClickPipes oferece padrões sensatos que atendem aos requisitos da maioria dos casos de uso. Se o seu caso de uso exigir ajustes mais finos, você pode ajustar as seguintes configurações:

​

ClickPipes de armazenamento de objetos

Configuração	Valor padrão	Descrição
Max insert bytes	10 GB	Número de bytes a serem processados em um único lote de inserção.
Max file count	100	Número máximo de arquivos a serem processados em um único lote de inserção.
Max threads	auto(3)	Número máximo de threads simultâneas para processamento de arquivos.
Max insert threads	1	Número máximo de threads de inserção simultâneas para processamento de arquivos.
Min insert block size bytes	1 GB	Tamanho mínimo, em bytes, do bloco que pode ser inserido em uma tabela.
Max download threads	4	Número máximo de threads de download simultâneas.
Object storage polling interval	30 s	Configura o período máximo de espera antes de inserir os dados no cluster do ClickHouse.
Parallel distributed insert select	2	Configuração de insert select distribuído em paralelo.
Parallel view processing	false	Define se o envio para views anexadas deve ser habilitado de forma simultânea em vez de sequencial.
Use cluster function	true	Define se os arquivos devem ser processados em paralelo em vários nós.

​

ClickPipes de streaming

Configuração	Valor padrão	Descrição
Streaming max insert wait time	5 s	Define o tempo máximo de espera antes da inserção de dados no cluster do ClickHouse.

​

Relatório de erros

O ClickPipes armazenará os erros em duas tabelas separadas, dependendo do tipo de erro encontrado durante o processo de ingestão.

Atualmente, isso não se aplica aos pipes de CDC (Postgres, MySQL e MongoDB), para os quais os logs operacionais e de erros estão disponíveis diretamente no console do ClickHouse Cloud.

​

Registrar erros

O ClickPipes criará uma tabela ao lado da sua tabela de destino com o sufixo <destination_table_name>_clickpipes_error. Essa tabela conterá todos os erros causados por dados malformados ou incompatibilidade de esquema e incluirá a mensagem inválida completa. Essa tabela tem um TTL de 7 dias.

​

Erros do sistema

Os erros relacionados à operação do ClickPipe serão armazenados na tabela system.clickpipes_log. Nela também serão armazenados todos os outros erros relacionados à operação do seu ClickPipe (rede, conectividade etc.). Essa tabela tem um TTL de 7 dias.

Se o ClickPipes não conseguir se conectar a uma fonte de dados após 15 min ou a um destino após 1 h, a instância do ClickPipes será interrompida, e uma mensagem apropriada será armazenada na tabela de erro do sistema (desde que a instância do ClickHouse esteja disponível).

​

Monitoramento

Além do monitoramento no Console, ClickPipes expõe métricas em um endpoint compatível com Prometheus para coleta. Essas métricas são publicadas junto com outras métricas do serviço ClickHouse Cloud e permitem integrar o monitoramento do ClickPipes à sua stack de observabilidade existente (por exemplo, Grafana, Datadog). Consulte Monitoramento do ClickPipes para ver a lista completa de métricas disponíveis.

​

FAQ

• O que é ClickPipes?

  ClickPipes é um recurso do ClickHouse Cloud que facilita a conexão dos seus serviços do ClickHouse a fontes de dados externas, especificamente o Kafka. Com o ClickPipes for Kafka, você pode carregar dados continuamente no ClickHouse com facilidade, tornando-os disponíveis para analytics em tempo real.

• O ClickPipes oferece suporte à transformação de dados?

  Sim, o ClickPipes oferece suporte à transformação básica de dados ao expor o DDL de criação. Depois, você pode aplicar transformações mais avançadas aos dados à medida que eles são carregados na tabela de destino em um serviço ClickHouse Cloud, aproveitando o recurso de visões materializadas do ClickHouse.

• O uso do ClickPipes gera um custo adicional?

  O ClickPipes é cobrado com base em duas dimensões: Ingested Data e Compute. Todos os detalhes de preços estão disponíveis nesta página. Executar o ClickPipes também pode gerar um custo indireto de computação e armazenamento no serviço ClickHouse Cloud de destino, como acontece com qualquer carga de ingestão.

• Existe uma maneira de lidar com erros ou falhas ao usar o ClickPipes for Kafka?

  Sim, o ClickPipes for Kafka fará novas tentativas automaticamente em caso de falhas ao consumir dados do Kafka por qualquer problema operacional, incluindo problemas de rede, de conectividade etc. Em caso de dados malformados ou esquema inválido, o ClickPipes armazenará o registro na tabela record_error e continuará o processamento.