FAQ
Onboarding e provisionamento
Como começar a usar o BYOC?
Como começar a usar o BYOC?
Quanto tempo leva o provisionamento da infraestrutura e quais são os motivos mais comuns para ele ficar bloqueado?
Quanto tempo leva o provisionamento da infraestrutura e quais são os motivos mais comuns para ele ficar bloqueado?
- O template do CloudFormation ou o módulo do Terraform foi modificado antes de ser aplicado — por exemplo, com a adição de um
PermissionsBoundaryou a renomeação da função do IAM para atender a uma convenção de nomenclatura (na AWS, mantenha o nome padrãoClickHouseManagementRole, a menos que a ClickHouse tenha aprovado explicitamente outro nome). Aplique os artefatos conforme fornecidos — as personalizações compatíveis são expostas como parâmetros, e qualquer outra alteração requer aprovação prévia da ClickHouse. - Políticas no nível da organização (SCPs da AWS, políticas da organização do GCP, como
iam.allowedPolicyMemberDomains, ou políticas do Azure que restringem atribuições de funções) bloqueando a assunção de funções ou associações do IAM. - Incompatibilidade do ID externo na função de onboarding (consulte a pergunta sobre o ID externo abaixo).
- Limites de cota da conta (por exemplo, Elastic IPs ou VPCs na AWS).
Qual valor devemos usar para o ID externo no template de onboarding?
Qual valor devemos usar para o ID externo no template de onboarding?
ExternalID); se usar o Terraform, informe o mesmo valor como external_id. Todas as infraestruturas BYOC na mesma conta da AWS compartilham o mesmo ID externo. Não escolha um valor próprio: ele deve corresponder ao esperado pela automação da ClickHouse; caso contrário, não será possível assumir a função entre contas e o provisionamento falhará. Consulte ID externo da AWS para obter detalhes.Por que meu ID externo é emptyid?
Por que meu ID externo é emptyid?
emptyid para compatibilidade retroativa. Quando você adiciona uma nova infraestrutura a uma conta da AWS com uma implantação legada existente, o console reutiliza esse placeholder para que todas as infraestruturas da conta mantenham uma configuração de confiança consistente. Se quiser mudar para um ID externo exclusivo, entre em contato com o suporte do ClickHouse.O BYOC pode usar uma VPC existente? E VPCs compartilhadas?
O BYOC pode usar uma VPC existente? E VPCs compartilhadas?
O BYOC pode ser instalado em um cluster do Kubernetes existente?
O BYOC pode ser instalado em um cluster do Kubernetes existente?
Podemos executar nossas próprias cargas de trabalho no cluster ou na conta de Cloud do BYOC?
Podemos executar nossas próprias cargas de trabalho no cluster ou na conta de Cloud do BYOC?
clickhouse-byoc=true), mas um pequeno conjunto de ações do EC2 não pode ser restrito por tags; no GCP e no Azure, as identidades de onboarding têm permissões no escopo do projeto ou da assinatura. Mantenha seus recursos separados dos recursos provisionados pelo ClickHouse e prefira uma conta, um projeto ou uma assinatura dedicados em cada Cloud — essa continua sendo a recomendação mais enfática.No cluster do Kubernetes: é possível, com restrições — use seus próprios grupos de nós com taints e tolerations, mantenha-se fora dos espaços de nomes gerenciados pelo ClickHouse e não instale controllers de admission nem motores de políticas em todo o cluster, pois eles podem bloquear a reconciliação dos componentes do ClickHouse. Primeiro, descreva seu plano ao suporte para que possamos confirmar que não há conflitos.Processamento e escalonamento
Posso criar vários serviços em uma única infraestrutura BYOC?
Posso criar vários serviços em uma única infraestrutura BYOC?
Quais regiões são compatíveis com BYOC?
Quais regiões são compatíveis com BYOC?
Há alguma sobrecarga de recursos? Quais recursos são necessários para executar serviços além das instâncias do ClickHouse?
Há alguma sobrecarga de recursos? Quais recursos são necessários para executar serviços além das instâncias do ClickHouse?
clickhouse-operator, o cluster autoscaler, Istio e a stack de monitoramento.O consumo de recursos desses componentes compartilhados é relativamente estável e não cresce linearmente com o número ou o tamanho dos seus serviços ClickHouse. Como referência, o grupo de nós de sistema dedicado a essas cargas de trabalho totaliza aproximadamente 48 vCPUs e 192 GB de memória — na AWS, por exemplo, cerca de seis instâncias 2xlarge. Além disso, cada warehouse executa um ensemble dedicado de três nós do ClickHouse Keeper, compartilhado por todos os serviços desse warehouse. Consulte o modelo de custos para obter detalhes.O BYOC é compatível com autoscaling?
O BYOC é compatível com autoscaling?
Em quais tipos de instância o BYOC é executado? Podemos alterar a família de instâncias?
Em quais tipos de instância o BYOC é executado? Podemos alterar a família de instâncias?
Podemos executar réplicas muito pequenas para reduzir custos?
Podemos executar réplicas muito pequenas para reduzir custos?
Podemos separar as cargas de trabalho de ingestão e consulta?
Podemos separar as cargas de trabalho de ingestão e consulta?
Rede e segurança
Podemos limitar ou revogar as permissões concedidas durante a instalação?
Podemos limitar ou revogar as permissões concedidas durante a instalação?
IncludeVPCWritePermissions no CloudFormation, include_vpc_write_permissions nos módulos do Terraform). No GCP, isso restringe apenas o gerenciamento de topologia — o ClickHouse mantém acesso de gravação aos recursos de rede que possui dentro da VPC, como a sub-rede NAT do Private Service Connect, o anexo de serviço e os endereços de entrada. Na AWS, você também pode — em prévia privada, habilitada pelo suporte — gerenciar as funções do IAM por conta própria (IncludeIAMWritePermissions=false, consulte funções do IAM gerenciadas pelo cliente), e as funções entre contas são protegidas contra acesso de deputy confuso por um ID externo. No Azure, o módulo de onboarding concede atualmente uma função fixa no escopo da assinatura, sem parâmetros para restringir esse escopo. Em todas as nuvens, algumas permissões são necessárias apenas para recursos específicos e podem ser removidas se você nunca for usar esses recursos — entre em contato com o suporte caso precise restringir as permissões além do que os artefatos permitem.Após o provisionamento, não remova permissões unilateralmente da identidade de gerenciamento: o ClickHouse reconcilia continuamente a infraestrutura, e permissões ausentes comprometem o provisionamento, as atualizações e o suporte. Para alterar as permissões concedidas ou desativar o serviço por completo, coordene com o suporte (consulte a pergunta sobre descomissionamento abaixo).O que exatamente o ClickHouse pode fazer em nossa conta de Cloud? Nossa equipe de segurança pode revisar as permissões?
O que exatamente o ClickHouse pode fazer em nossa conta de Cloud? Nossa equipe de segurança pode revisar as permissões?
clickhouse-cloud-*, portanto, em geral, ela não pode modificar recursos que não criou (um pequeno número de ações do EC2 não pode ser limitado por tags), e ela não tem acesso em nível de objeto aos seus buckets de dados — o acesso a objetos é limitado a identidades no cluster, restritas às cargas de trabalho do ClickHouse. No GCP e no Azure, as identidades de onboarding têm permissões no escopo do projeto ou da assinatura — um dos motivos pelos quais é altamente recomendável usar um projeto ou uma assinatura dedicados. As permissões de leitura são mais amplas porque são necessárias para a reconciliação contínua.Que acesso os funcionários do ClickHouse têm ao nosso ambiente e aos nossos dados?
Que acesso os funcionários do ClickHouse têm ao nosso ambiente e aos nossos dados?
system.* (sem tabelas de dados de clientes), registrado e auditado por nossa equipe de segurança. Qualquer consulta executada por um engenheiro do ClickHouse fica visível para você em seu próprio system.query_log. Para diagnósticos de infraestrutura, o mesmo processo de escalonamento sujeito a aprovação também pode conceder acesso com validade limitada ao Kubernetes API server e à pilha de monitoramento no cluster via Tailscale. Consulte ClickHouse data access para conhecer o modelo de acesso a dados e segurança de rede para conhecer o modelo de conexão.Vocês consideraram futuros controles de segurança para que engenheiros do ClickHouse acessem a infraestrutura do cliente para solucionar problemas?
Vocês consideraram futuros controles de segurança para que engenheiros do ClickHouse acessem a infraestrutura do cliente para solucionar problemas?
Quais dados saem da nossa conta?
Quais dados saem da nossa conta?
Como o plano de controle do ClickHouse acessa a API do Kubernetes em nossa conta? O Tailscale é necessário?
Como o plano de controle do ClickHouse acessa a API do Kubernetes em nossa conta? O Tailscale é necessário?
Como funciona a comunicação de rede entre a rede BYOC e o armazenamento de objetos?
Como funciona a comunicação de rede entre a rede BYOC e o armazenamento de objetos?
Os dados estão em nosso próprio bucket — podemos lê-los ou modificá-los diretamente?
Os dados estão em nosso próprio bucket — podemos lê-los ou modificá-los diretamente?
Quais portas são usadas para a comunicação de clientes e do cluster?
Quais portas são usadas para a comunicação de clientes e do cluster?
Nossos endpoints de serviço estão expostos à internet pública? Podemos usar apenas acesso privado?
Nossos endpoints de serviço estão expostos à internet pública? Podemos usar apenas acesso privado?
Podemos usar nosso próprio domínio DNS ou fornecer nossos próprios certificados TLS?
Podemos usar nosso próprio domínio DNS ou fornecer nossos próprios certificados TLS?
clickhouse-byoc.com com certificados gerenciados pelo ClickHouse.Como configuramos o AWS PrivateLink, o GCP Private Service Connect ou o Azure Private Link?
Como configuramos o AWS PrivateLink, o GCP Private Service Connect ou o Azure Private Link?
Podemos nos conectar via PrivateLink a partir de uma região AWS diferente?
Podemos nos conectar via PrivateLink a partir de uma região AWS diferente?
Há uma lista de endpoints que precisamos permitir no firewall ou nas regras de saída?
Há uma lista de endpoints que precisamos permitir no firewall ou nas regras de saída?
Nossas ferramentas de segurança sinalizaram contêineres privilegiados ou montagens do host no cluster BYOC — isso é esperado?
Nossas ferramentas de segurança sinalizaram contêineres privilegiados ou montagens do host no cluster BYOC — isso é esperado?
/proc e /sys). Se o scanner identificar problemas, compartilhe-os com o suporte — confirmaremos se cada um é intencional ou exige ação.Vocês oferecem suporte a chaves de criptografia gerenciadas pelo cliente (CMEK)?
Vocês oferecem suporte a chaves de criptografia gerenciadas pelo cliente (CMEK)?
Upgrades e manutenção
Como funcionam os upgrades de versão do ClickHouse? Posso definir a frequência de manutenção?
Como funcionam os upgrades de versão do ClickHouse? Posso definir a frequência de manutenção?
Quem é responsável pelos upgrades do Kubernetes e qual impacto podemos esperar?
Quem é responsável pelos upgrades do Kubernetes e qual impacto podemos esperar?
Backups e recuperação de desastres
Onde os backups são armazenados?
Onde os backups são armazenados?
O que está incluído em um backup? As tabelas de sistema são incluídas?
O que está incluído em um backup? As tabelas de sistema são incluídas?
system.query_log, não são incluídas.Por que sou cobrado por backups mais antigos que minha janela de retenção?
Por que sou cobrado por backups mais antigos que minha janela de retenção?
Como podemos monitorar o status dos backups por conta própria?
Como podemos monitorar o status dos backups por conta própria?
Como atendemos aos requisitos de recuperação de desastres (RPO/RTO)?
Como atendemos aos requisitos de recuperação de desastres (RPO/RTO)?
Observabilidade
Como integrar o BYOC ao seu próprio monitoramento e sistema de alertas?
Como integrar o BYOC ao seu próprio monitoramento e sistema de alertas?
/metrics_all do ClickHouse para cada serviço. Atualmente, não há uma integração pronta para plataformas de terceiros, como o Datadog — integre por meio de uma ingestão compatível com Prometheus. Consulte observabilidade para ver os endpoints e as instruções de configuração.Custo
O que pagamos com o BYOC?
O que pagamos com o BYOC?
Disponibilidade e ciclo de vida
Em quais provedores de Cloud o BYOC está disponível?
Em quais provedores de Cloud o BYOC está disponível?
Como desativar um ambiente BYOC?
Como desativar um ambiente BYOC?
clickhouse-byoc=true, portanto, você pode listá-los posteriormente para verificar se nada restou; no GCP e no Azure, o projeto ou a assinatura dedicados configurados durante o onboarding delimitam o que deve ser revisado.SLAs de disponibilidade
A ClickHouse oferece um SLA de disponibilidade para BYOC?
A ClickHouse oferece um SLA de disponibilidade para BYOC?