> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-trino-dialect.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> 将外部数据源无缝连接到 ClickHouse Cloud。

# 集成 ClickHouse Cloud

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

<div id="introduction">
  ## 简介
</div>

[ClickPipes](/zh/integrations/clickpipes/home) 是一个托管式集成平台，让从多种数据源摄取数据变得像点几下按钮一样简单。ClickPipes 专为要求最严苛的工作负载而设计，其强大且可扩展的架构可确保始终如一的性能与可靠性。ClickPipes 既可用于长期流式摄取需求，也可用于一次性数据加载任务。

ClickPipes 既可以通过 ClickPipes UI 手动部署和管理，也可以通过 [OpenAPI](/zh/integrations/clickpipes/programmatic-access/openapi) 和 [Terraform](/zh/integrations/clickpipes/programmatic-access/terraform) 以编程方式进行部署和管理。

<Image img="https://mintcdn.com/private-7c7dfe99-trino-dialect/zkBy8QRjLpx6BosZ/images/integrations/data-ingestion/clickpipes/clickpipes_stack.webp?fit=max&auto=format&n=zkBy8QRjLpx6BosZ&q=85&s=81a7b9cb00bbef900a3f2e2055656eed" alt="ClickPipes 架构" size="lg" border width="1200" height="400" data-path="images/integrations/data-ingestion/clickpipes/clickpipes_stack.webp" />

<div id="supported-data-sources">
  ## 支持的数据源
</div>

| 名称                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | 类型                                 | 状态                                        | 描述                                                                                                                                                     |
| ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ---------------------------------- | ----------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------ |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/kafka.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=0f8a4d7f58e46d6bde9775449d67082d" alt="Apache Kafka 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/kafka.svg" /> [Apache Kafka](/zh/integrations/clickpipes/kafka/index)                                                                                                                        | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将 Apache Kafka 中的流式数据摄取到 ClickHouse Cloud。                                                                                             |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/confluent.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=5c1250cc83ff9174a248cf7861453053" alt="Confluent Cloud 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/confluent.svg" /> Confluent Cloud                                                                                                                               | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 通过我们的直连集成，释放 Confluent 与 ClickHouse Cloud 的强大协同能力。                                                                                                     |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/logo_redpanda.webp?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=9801702fbf433590121049112726f0da" alt="Redpanda 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/logo_redpanda.webp" /> Redpanda                                                                                                   | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将来自 Redpanda 的流式数据摄取到 ClickHouse Cloud。                                                                                                |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/msk.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=fa6910c6bf59963aa3939f545c736923" alt="AWS MSK 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/msk.svg" /> AWS MSK                                                                                                                                                                                               | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将 AWS MSK 的流式数据摄取到 ClickHouse Cloud。                                                                                                   |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/azure_event_hubs.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=8c141592829048dbd203e9d45714d300" alt="Azure Event Hubs 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/azure_event_hubs.svg" /> Azure Event Hubs                                                                     | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将 Azure Event Hubs 的流式数据摄取到 ClickHouse Cloud。有关详细说明，请参阅 [Azure Event Hubs FAQ](/zh/integrations/clickpipes/kafka/faq#azure-eventhubs)。 |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/P37Ln6i-rM2atqdZ/images/integrations/logos/warpstream.svg?fit=max&auto=format&n=P37Ln6i-rM2atqdZ&q=85&s=81f63e78a47121c090b18c67f8387c9f" alt="WarpStream 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/warpstream.svg" /> WarpStream                                                                                                                                 | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将 WarpStream 的流式数据摄取到 ClickHouse Cloud。                                                                                                |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/amazon_kinesis_logo.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=cb473bee9b1a0d568a7061ae470c3209" alt="Amazon Kinesis 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/amazon_kinesis_logo.svg" /> [Amazon Kinesis](/zh/integrations/clickpipes/kinesis/overview) | <Badge color="blue">流式</Badge>     | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，并开始将 Amazon Kinesis 中的流式数据摄取到 ClickHouse Cloud。                                                                                          |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/google_pubsub.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=c8b19c8117df6d541c18c82dd9188303" alt="Google Cloud Pub/Sub 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/google_pubsub.svg" /> [GCP Pub/Sub](/zh/integrations/clickpipes/pubsub/overview)                                           | <Badge color="blue">流式</Badge>     | <Badge color="purple">私有预览</Badge>        | 配置 ClickPipes，并开始将 Google Cloud Pub/Sub 中的流式数据摄取到 ClickHouse Cloud。                                                                                    |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/amazon_s3_logo.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=4d99f78a5f77afa0e86bf1ba624a5ad6" alt="亚马逊 S3 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/amazon_s3_logo.svg" /> [亚马逊 S3](/zh/integrations/clickpipes/object-storage/amazon-s3/overview)                                      | <Badge color="orange">对象存储</Badge> | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，以便从对象存储摄取海量数据。                                                                                                                           |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/gcs.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=0165b9e2fc94c2c480390e3289164985" alt="Google Cloud Storage 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/gcs.svg" /> [Google Cloud Storage](/zh/integrations/clickpipes/object-storage/google-cloud-storage/overview)                                                                                       | <Badge color="orange">对象存储</Badge> | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，以便从对象存储摄取海量数据。                                                                                                                           |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/digitalocean.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=6ead4d2ca35c11c6569f26276aa5b69f" alt="DigitalOcean 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/digitalocean.svg" /> DigitalOcean Spaces                                                                                                      | <Badge color="orange">对象存储</Badge> | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，以便从对象存储中摄取海量数据。                                                                                                                          |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/qOv7KJkvDWsDYhyE/images/integrations/logos/azureblobstorage.svg?fit=max&auto=format&n=qOv7KJkvDWsDYhyE&q=85&s=0d66eaa78cb9fc6d7a1d430b60b7b9ff" alt="Azure Blob 存储标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/azureblobstorage.svg" /> [Azure Blob 存储](/zh/integrations/clickpipes/object-storage/azure-blob-storage/overview)  | <Badge color="orange">对象存储</Badge> | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，以便从对象存储中摄取海量数据。                                                                                                                          |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/postgresql.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=576bc6bae6d9d3fa5b450e67f83f1414" alt="Postgres 徽标" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/postgresql.svg" /> [Postgres](/zh/integrations/clickpipes/postgres/index)                                                                                     | <Badge color="purple">DBMS</Badge> | <Badge color="green">稳定版本</Badge>         | 配置 ClickPipes，开始将 Postgres 数据摄取到 ClickHouse Cloud。                                                                                                     |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/mysql.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=c4fd0664855241bca1ace561dcbc0598" alt="MySQL 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/mysql.svg" /> [MySQL](/zh/integrations/clickpipes/mysql/index)                                                                                                                                      | <Badge color="purple">DBMS</Badge> | <Badge color="yellow">Public Beta</Badge> | 配置 ClickPipes，开始将 MySQL 数据摄取到 ClickHouse Cloud。                                                                                                        |
| <img src="https://mintcdn.com/private-7c7dfe99-trino-dialect/SwBmQiR_ocl5w4KS/images/integrations/logos/mongodb.svg?fit=max&auto=format&n=SwBmQiR_ocl5w4KS&q=85&s=d755894e3378f41a35cb6031245195d8" alt="MongoDB 标志" className="integration-table-logo" width="24" height="24" data-path="images/integrations/logos/mongodb.svg" /> [MongoDB](/zh/integrations/clickpipes/mongodb/index)                                                                                                                  | <Badge color="purple">DBMS</Badge> | <Badge color="purple">私有预览</Badge>        | 配置 ClickPipes，并开始将 MongoDB 数据摄取到 ClickHouse Cloud。                                                                                                     |

更多连接器将陆续加入 ClickPipes，更多信息请[联系我们](https://clickhouse.com/company/contact?loc=clickpipes)。

<div id="aws-iam-database-authentication">
  ## AWS IAM 数据库身份验证
</div>

ClickPipes 支持对 Amazon RDS 和 Aurora 使用 AWS IAM 数据库身份验证。具体配置因数据库引擎和 AWS 服务而异，因此请选择与您的数据库对应的源端设置指南：

| 数据库引擎      | AWS 服务        | 设置指南                                                                                                          |
| ---------- | ------------- | ------------------------------------------------------------------------------------------------------------- |
| PostgreSQL | Amazon RDS    | [RDS for PostgreSQL](/zh/integrations/clickpipes/postgres/source/rds#iam-authentication)                      |
| PostgreSQL | Amazon Aurora | [Aurora PostgreSQL-Compatible Edition](/zh/integrations/clickpipes/postgres/source/aurora#iam-authentication) |
| MySQL      | Amazon RDS    | [RDS for MySQL](/zh/integrations/clickpipes/mysql/source/rds#iam-authentication)                              |
| MySQL      | Amazon Aurora | [Aurora MySQL-Compatible Edition](/zh/integrations/clickpipes/mysql/source/aurora#iam-authentication)         |
| MariaDB    | Amazon RDS    | [RDS for MariaDB](/zh/integrations/clickpipes/mysql/source/rds-maria#iam-authentication)                      |

<div id="list-of-static-ips">
  ## 静态 IP 列表
</div>

ClickPipes 静态 NAT IP 地址列表已移至 [ClickPipes 网络文档](/zh/integrations/clickpipes/networking/static-ips)。

<div id="adjusting-clickhouse-settings">
  ## 调整 ClickHouse 设置
</div>

ClickHouse Cloud 为大多数使用场景提供了合理的默认设置。不过，如果你需要为 ClickPipes 目标表调整某些 ClickHouse 设置，那么为 ClickPipes 配置一个专用角色是最灵活的解决方案。
步骤：

1. 创建自定义角色 `CREATE ROLE my_clickpipes_role SETTINGS ...`。详情请参见 [CREATE ROLE](/zh/reference/statements/create/role) 语法。
2. 在创建 ClickPipes 的过程中，在 `Details and Settings` 步骤将该自定义角色添加给 ClickPipes 用户。

<Image img="https://mintcdn.com/private-7c7dfe99-trino-dialect/zkBy8QRjLpx6BosZ/images/integrations/data-ingestion/clickpipes/cp_custom_role.webp?fit=max&auto=format&n=zkBy8QRjLpx6BosZ&q=85&s=c26c64c4a45a73246aa8926e5ea646d7" alt="分配自定义角色" size="lg" border width="1744" height="470" data-path="images/integrations/data-ingestion/clickpipes/cp_custom_role.webp" />

<div id="clickpipes-advanced-settings">
  ## 调整 ClickPipes 高级设置
</div>

ClickPipes 提供了适用于大多数场景的合理默认设置。如果你的场景需要进一步微调，可以调整以下设置：

<div id="clickpipes-advanced-settings-object-storage">
  ### 对象存储 ClickPipes
</div>

| Setting                              | Default value | Description                                                                                                             |
| ------------------------------------ | ------------- | ----------------------------------------------------------------------------------------------------------------------- |
| `Max insert bytes`                   | 10 GB         | 单个插入批次中处理的字节数。                                                                                                          |
| `Max file count`                     | 100           | 单个插入批次中处理的最大文件数。                                                                                                        |
| `Max threads`                        | auto(3)       | 用于文件处理的[最大并发线程数](/zh/reference/settings/session-settings/max-threads#max_threads)。                                      |
| `Max insert threads`                 | 1             | 用于文件处理的[最大并发插入线程数](/zh/reference/settings/session-settings/max-insert#max_insert_threads)。                              |
| `Min insert block size bytes`        | 1 GB          | 可插入表的[块最小字节数](/zh/reference/settings/session-settings/min-insert#min_insert_block_size_bytes)。                          |
| `Max download threads`               | 4             | [最大并发下载线程数](/zh/reference/settings/session-settings/max-download#max_download_threads)。                                 |
| `Object storage polling interval`    | 30 s          | 配置将数据插入 ClickHouse 集群前的最长等待时间。                                                                                          |
| `Parallel distributed insert select` | 2             | [并行 Distributed insert select 设置](/zh/reference/settings/session-settings/parallel#parallel_distributed_insert_select)。 |
| `Parallel view processing`           | false         | 是否启用以[并发而非顺序](/zh/reference/settings/session-settings/parallel#parallel_view_processing)方式推送到已附加视图。                     |
| `Use cluster function`               | true          | 是否在多个节点上并行处理文件。                                                                                                         |

<Image img="https://mintcdn.com/private-7c7dfe99-trino-dialect/zkBy8QRjLpx6BosZ/images/integrations/data-ingestion/clickpipes/cp_advanced_settings.webp?fit=max&auto=format&n=zkBy8QRjLpx6BosZ&q=85&s=f4dcc8dc162755569f26a993ae22326a" alt="ClickPipes 的高级设置" size="lg" border width="1724" height="620" data-path="images/integrations/data-ingestion/clickpipes/cp_advanced_settings.webp" />

<div id="clickpipes-advanced-settings-streaming">
  ### 流式 ClickPipes
</div>

| 设置                               | 默认值 | 描述                                 |
| -------------------------------- | --- | ---------------------------------- |
| `Streaming max insert wait time` | 5 s | 配置在将数据插入 ClickHouse 集群之前允许的最长等待时间。 |

<div id="error-reporting">
  ## 错误报告
</div>

ClickPipes 会根据摄取过程中遇到的错误类型，将错误分别存储在两个独立的表中。

<Note>
  这目前不适用于 CDC 管道 (Postgres、MySQL 和 MongoDB) ；这些管道的运行日志和错误日志可直接在 ClickHouse Cloud 控制台中查看。
</Note>

<div id="record-errors">
  ### 记录错误
</div>

ClickPipes 会在目标表旁创建一张表，表名以后缀 `<destination_table_name>_clickpipes_error` 结尾。该表会包含因数据格式错误或 schema 不匹配而产生的所有错误，并保留完整的无效消息内容。该表的[生存时间 (TTL)](/zh/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl)为 7 天。

<div id="system-errors">
  ### 系统错误
</div>

与 ClickPipe 运行相关的错误会存储在 `system.clickpipes_log` 表中。该表还会记录与你的 ClickPipe 运行有关的其他错误 (如网络、连接等) 。此表的 [生存时间 (TTL)](/zh/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) 为 7 天。

如果 ClickPipes 在 15 分钟后仍无法连接到数据源，或在 1 小时后仍无法连接到目标端，ClickPipes 实例将停止，并在系统错误表中记录相应的消息 (前提是 ClickHouse 实例可用) 。

<div id="monitoring">
  ## 监控
</div>

除了控制台内的监控外，ClickPipes 还会将指标暴露到一个[兼容 Prometheus 的端点](/zh/products/cloud/features/monitoring/prometheus)，以便抓取。这些指标会与其他 ClickHouse Cloud 服务指标一同发布，因此你可以将 ClickPipes 的监控集成到现有的可观测性技术栈中 (例如 [Grafana](/zh/products/cloud/features/monitoring/prometheus#integrating-with-grafana)、[Datadog](/zh/products/cloud/features/monitoring/prometheus#integrating-with-datadog)) 。有关可用指标的完整列表，请参阅 [Monitoring ClickPipes](/zh/integrations/clickpipes/monitoring)。

<div id="faq">
  ## FAQ
</div>

* **什么是 ClickPipes？**

  ClickPipes 是 ClickHouse Cloud 的一项功能，可让您轻松将 ClickHouse 服务连接到外部数据源，尤其是 Kafka。借助 ClickPipes for Kafka，您可以持续、轻松地将数据加载到 ClickHouse 中，使其可用于实时分析。

* **ClickPipes 是否支持数据转换？**

  是的，ClickPipes 通过提供 DDL 创建能力来支持基础数据转换。随后，您可以在数据加载到 ClickHouse Cloud 服务中的目标表时，借助 ClickHouse 的 [materialized views 功能](/zh/concepts/features/materialized-views/cascading-materialized-views) 对数据进行更高级的转换。

* **使用 ClickPipes 会产生额外费用吗？**

  ClickPipes 按两个维度计费：Ingested Data 和 Compute。有关定价的完整详情，请参见[此页面](/zh/products/cloud/reference/billing/clickpipes/index)。运行 ClickPipes 还可能在目标 ClickHouse Cloud 服务上产生间接的计算和存储成本，这与任何摄取工作负载类似。

* **使用 ClickPipes for Kafka 时，有办法处理错误或故障吗？**

  可以。ClickPipes for Kafka 在从 Kafka 消费数据时，如果遇到任何运行问题 (包括网络问题、连接问题等) ，都会自动重试。如果出现格式错误的数据或无效的 schema，ClickPipes 会将该记录存储到 record\_error 表中，并继续处理。