Guía de configuración de la fuente AlloyDB Postgres

Configura una instancia de AlloyDB Postgres como fuente para ClickPipes

​

Versiones compatibles

Para propagar datos desde tu instancia de AlloyDB a ClickHouse Cloud mediante ClickPipes, tu instancia debe estar configurada para la replicación lógica. Esta función es compatible a partir de la versión 14 de AlloyDB.

​

Habilitar la replicación lógica

Para comprobar si la replicación lógica está habilitada en su instancia de AlloyDB, ejecute la siguiente consulta en la instancia principal:

SHOW  wal_level;

Si el resultado es logical, la replicación lógica ya está habilitada y puedes pasar al siguiente paso. Si el resultado es replica, debes establecer las marcas alloydb.enable_pglogical y alloydb.logical_decoding en on en la instancia principal.

Como se indica en la documentación de marcas de AlloyDB, modificar las marcas que habilitan la replicación lógica requiere reiniciar la instancia principal.

Para habilitar estas marcas:

1. En Google Cloud Console, ve a la página de AlloyDB Clusters. En el menú Actions de tu instancia principal, haz clic en Edit.

2. Desplázate hacia abajo hasta Advanced configuration options y expande la sección. En Flags, haz clic en Add a database flag.

   • Agrega la marca allowdb.enable_pglogical y establece su valor en on
   • Agrega la marca alloydb.logical_decoding y establece su valor en on

3. Haz clic en Update instance para guardar los cambios de configuración. Es importante tener en cuenta que esta acción provoca un reinicio de la instancia principal.

4. Una vez que el estado de la instancia cambie de Updating a Ready, ejecuta la siguiente consulta en tu instancia principal para verificar que la replicación lógica esté habilitada:

   SHOW  wal_level;
   

   El resultado debería ser logical.

​

Cree un usuario de ClickPipes y gestione los permisos de replicación

Conéctese a su instancia de AlloyDB como usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar la sobrecarga de rendimiento.

Cualquier tabla incluida en la publicación debe tener definida una clave primaria o tener su identidad de réplica configurada como FULL. Consulte las preguntas frecuentes de Postgres para obtener orientación sobre cómo definir el alcance.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga la intención de replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico de WAL desde Postgres hacia ClickPipes y reduce la eficiencia general de la replicación.

​

Configurar el acceso a la red

A continuación, elija cómo se conectará ClickPipes a su instancia de AlloyDB.

Usar Private Service Connect

Para la conectividad privada desde un servicio de ClickHouse Cloud alojado en GCP, siga la guía de GCP Private Service Connect para configurar un endpoint privado inverso para su instancia de AlloyDB.

Permitir las IP de ClickPipes

1. En Google Cloud Console, vaya a la página de AlloyDB Clusters. Seleccione su instancia principal para abrir la página Overview.

2. Desplácese hacia abajo hasta Instances in your cluster y haga clic en Edit primary.

3. Marque la casilla Enable Public IP para permitir conexiones a la instancia a través de la Internet pública. En Authorized external networks, introduzca la lista de direcciones IP estáticas de ClickPipes correspondiente a la región en la que está desplegado su servicio.

AlloyDB requiere que las direcciones se especifiquen en notación CIDR. Puede adaptar la lista proporcionada de direcciones IP estáticas de ClickPipes a esta notación añadiendo /32 a cada dirección.

4. En Network Security, seleccione Require SSL Encryption (default) (si todavía no está seleccionado).

5. Haga clic en Update instance para guardar los cambios en la configuración de seguridad de red.

Usar un túnel SSH

Si no permite el acceso público a su instancia de AlloyDB, primero debe configurar un host bastión SSH para tunelizar la conexión de forma segura. Para configurar un host bastión SSH en Google Cloud Platform:

1. Cree e inicie una instancia de Google Compute Engine (GCE) siguiendo la documentación oficial.

   • Asegúrese de que la instancia de GCE esté en la misma Virtual Private Network (VPC) que su instancia de AlloyDB.
   • Asegúrese de que la instancia de GCE tenga una dirección IP pública estática. Usará esta dirección IP al conectar ClickPipes a su host bastión SSH.

2. Actualice las reglas de firewall del host bastión SSH para permitir tráfico desde la lista de direcciones IP estáticas de ClickPipes correspondiente a la región en la que está desplegado su servicio.

3. Actualice las reglas de firewall de AlloyDB para permitir tráfico desde el host bastión SSH.

​

¿Qué sigue?

Ahora puedes crear tu ClickPipe y comenzar a ingestar datos desde tu instancia de Postgres hacia ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación de ClickPipe.