PostgreSQL

صفحة تشرح كيفية تكامل Postgres مع ClickHouse

يمكن العثور هنا على دليل كامل لترحيل PostgreSQL إلى ClickHouse، بما في ذلك إرشادات حول نمذجة البيانات والمفاهيم المكافئة. يوضح ما يلي كيفية ربط ClickHouse بـ PostgreSQL.

تستعرض هذه الصفحة الخيارات التالية لتكامل PostgreSQL مع ClickHouse:

• استخدام محرك الجدول PostgreSQL للقراءة من جدول في PostgreSQL
• استخدام محرك قاعدة البيانات التجريبي MaterializedPostgreSQL لمزامنة قاعدة بيانات في PostgreSQL مع قاعدة بيانات في ClickHouse

اطّلع على خدمة ClickHouse Managed Postgres الخاصة بنا. فهي تعتمد على تخزين NVMe موجود فعليًا إلى جانب موارد compute، وتوفّر أداءً أسرع بما يصل إلى 10 مرات لأعباء العمل التي يقيّدها أداء القرص، مقارنةً بالبدائل التي تستخدم تخزينًا متصلًا بالشبكة مثل EBS. كما تتيح لك نسخ بيانات Postgres إلى ClickHouse باستخدام موصل Postgres CDC في ClickPipes.

​

استخدام محرك جدول PostgreSQL

يتيح محرك الجدول PostgreSQL تنفيذ عمليتَي SELECT وINSERT على البيانات المخزّنة على خادم PostgreSQL البعيد انطلاقًا من ClickHouse. تهدف هذه المقالة إلى توضيح أساليب التكامل الأساسية باستخدام جدول واحد.

1. إعداد PostgreSQL

   1. في postgresql.conf، أضِف السطر التالي لتمكين PostgreSQL من الاستماع عبر واجهات الشبكة:

   listen_addresses = '*'
   

   2. أنشئ مستخدمًا ليتصل ClickHouse من خلاله. ولأغراض العرض التوضيحي، يمنح هذا المثال امتيازات superuser كاملة.

   CREATE ROLE clickhouse_user SUPERUSER LOGIN PASSWORD 'ClickHouse_123';
   

   3. أنشئ قاعدة بيانات جديدة في PostgreSQL:

   CREATE DATABASE db_in_psg;
   

   4. أنشئ جدولًا جديدًا:

   CREATE TABLE table1 (
       id         integer primary key,
       column1    varchar(10)
   );
   

   5. لنُضِف بضعة صفوف للاختبار:

   INSERT INTO table1
     (id, column1)
   VALUES
     (1, 'abc'),
     (2, 'def');
   

   6. لتهيئة PostgreSQL للسماح بإجراء اتصالات بقاعدة البيانات الجديدة باستخدام المستخدم الجديد لغرض النسخ المتماثل، أضف الإدخال التالي إلى الملف pg_hba.conf. حدِّث سطر العنوان باستخدام الشبكة الفرعية أو عنوان IP لخادم PostgreSQL لديك:

   # TYPE  DATABASE        USER            ADDRESS                 METHOD
   host    db_in_psg             clickhouse_user 192.168.1.0/24          password
   

   7. أعد تحميل إعدادات pg_hba.conf (عدّل هذا الأمر وفقًا لإصدارك):

   /usr/pgsql-12/bin/pg_ctl reload
   

   8. تحقّق من إمكانية تسجيل دخول المستخدم الجديد clickhouse_user:

   psql -U clickhouse_user -W -d db_in_psg -h <your_postgresql_host>
   

   إذا كنت تستخدم هذه الميزة في ClickHouse Cloud، فقد تحتاج إلى السماح لعناوين IP الخاصة بـ ClickHouse Cloud بالوصول إلى مثيل PostgreSQL لديك. راجع Cloud Endpoints API للاطّلاع على تفاصيل حركة البيانات الصادرة.

2. عرّف جدولًا في ClickHouse

   1. سجّل الدخول إلى clickhouse-client:

   clickhouse-client --user default --password ClickHouse123!
   

   2. لنُنشئ قاعدة بيانات جديدة:

   CREATE DATABASE db_in_ch;
   

   3. أنشئ جدولًا يستخدم PostgreSQL:

   CREATE TABLE db_in_ch.table1
   (
       id UInt64,
       column1 String
   )
   ENGINE = PostgreSQL('postgres-host.domain.com:5432', 'db_in_psg', 'table1', 'clickhouse_user', 'ClickHouse_123');
   

   المعلمات الدنيا المطلوبة هي:

   المعلمة	الوصف	المثال
   host:port	اسم المضيف أو عنوان IP والمنفذ	postgres-host.domain.com:5432
   database	اسم قاعدة بيانات PostgreSQL	db_in_psg
   user	اسم المستخدم للاتصال بـ Postgres	clickhouse_user
   password	كلمة المرور للاتصال بـ Postgres	ClickHouse_123

   راجع صفحة وثائق PostgreSQL table engine للاطّلاع على القائمة الكاملة للمعلمات.

3. اختبر التكامل

   1. في ClickHouse، اعرض الصفوف الأولى:

   SELECT * FROM db_in_ch.table1
   

   يجب أن يحتوي جدول ClickHouse تلقائيًا على الصفّين الموجودين مسبقًا في جدول PostgreSQL:

   Query id: 34193d31-fe21-44ac-a182-36aaefbd78bf
   
   ┌─id─┬─column1─┐
   │  1 │ abc     │
   │  2 │ def     │
   └────┴─────────┘
   

   2. بالعودة إلى PostgreSQL، أضف بضعة صفوف إلى الجدول:

   INSERT INTO table1
     (id, column1)
   VALUES
     (3, 'ghi'),
     (4, 'jkl');
   

   4. يجب أن يظهر الصفّان الجديدان في جدول ClickHouse لديك:

   SELECT * FROM db_in_ch.table1
   

   يجب أن تكون الاستجابة:

   Query id: 86fa2c62-d320-4e47-b564-47ebf3d5d27b
   
   ┌─id─┬─column1─┐
   │  1 │ abc     │
   │  2 │ def     │
   │  3 │ ghi     │
   │  4 │ jkl     │
   └────┴─────────┘
   

   5. لنرَ ما يحدث عند إضافة صفوف إلى جدول ClickHouse:

   INSERT INTO db_in_ch.table1
     (id, column1)
   VALUES
     (5, 'mno'),
     (6, 'pqr');
   

   6. يجب أن تظهر الصفوف المضافة في ClickHouse في جدول PostgreSQL:

   db_in_psg=# SELECT * FROM table1;
   id | column1
   ----+---------
     1 | abc
     2 | def
     3 | ghi
     4 | jkl
     5 | mno
     6 | pqr
   (6 rows)
   

يوضح هذا المثال التكامل الأساسي بين PostgreSQL وClickHouse باستخدام محرك الجدول PostrgeSQL.

اطّلع على صفحة التوثيق الخاصة بـ محرك الجدول PostgreSQL للتعرّف على مزيد من الميزات، مثل تحديد المخططات، وإرجاع مجموعة فرعية من الأعمدة فقط، والاتصال بعدة نُسخ متماثلة. واطّلع أيضًا على مدونة ClickHouse and PostgreSQL - a match made in data heaven - part 1.

​

استخدام محرك قاعدة البيانات MaterializedPostgreSQL

يستخدم محرك قاعدة البيانات PostgreSQL ميزات النسخ المتماثل في PostgreSQL لإنشاء نسخة متماثلة من قاعدة البيانات تشمل جميع المخططات والجداول أو مجموعة فرعية منها. تهدف هذه المقالة إلى توضيح الأساليب الأساسية للتكامل باستخدام قاعدة بيانات واحدة ومخطط واحد وجدول واحد.

في الإجراءات التالية، يُستخدم PostgreSQL CLI ‏(psql) وClickHouse CLI ‏(clickhouse-client). خادم PostgreSQL مُثبّت على Linux. ويوضح ما يلي الحد الأدنى من الإعدادات إذا كانت قاعدة بيانات PostgreSQL تثبيت اختبار جديدًا.

1. في PostgreSQL

   1. في postgresql.conf، اضبط الحد الأدنى لمستويات الاستماع، وwal level للنسخ المتماثل، وفتحات النسخ المتماثل:

   أضف الأسطر التالية:

   listen_addresses = '*'
   max_replication_slots = 10
   wal_level = logical
   

   *يتطلب ClickHouse حدًا أدنى من مستوى logical لـ wal، وحدًا أدنى قدره 2 من فتحات النسخ المتماثل

   2. باستخدام حساب مسؤول، أنشئ مستخدمًا للاتصال من ClickHouse:

   CREATE ROLE clickhouse_user SUPERUSER LOGIN PASSWORD 'ClickHouse_123';
   

   *لأغراض التوضيح، مُنحت صلاحيات superuser كاملة.

   3. أنشئ قاعدة بيانات جديدة:

   CREATE DATABASE db1;
   

   4. اتصل بقاعدة البيانات الجديدة باستخدام psql:

   \connect db1
   

   5. أنشئ جدولًا جديدًا:

   CREATE TABLE table1 (
       id         integer primary key,
       column1    varchar(10)
   );
   

   6. أضف الصفوف الأولية:

   INSERT INTO table1
   (id, column1)
   VALUES
   (1, 'abc'),
   (2, 'def');
   

   7. اضبط PostgreSQL للسماح بالاتصال بقاعدة البيانات الجديدة باستخدام المستخدم الجديد لأغراض النسخ المتماثل. في ما يلي الحد الأدنى من الإدخالات التي يجب إضافتها إلى ملف pg_hba.conf:

   # TYPE  DATABASE        USER            ADDRESS                 METHOD
   host    db1             clickhouse_user 192.168.1.0/24          password
   

   *لأغراض الشرح، يُستخدم هنا أسلوب المصادقة بكلمة مرور بنص واضح. حدِّث سطر العنوان باستخدام الشبكة الفرعية أو عنوان الخادم وفقًا لوثائق PostgreSQL

   8. أعد تحميل إعدادات pg_hba.conf بشيء مماثل لما يلي (عدِّله بما يناسب إصدارك):

   /usr/pgsql-12/bin/pg_ctl reload
   

   9. اختبر تسجيل الدخول باستخدام مستخدم clickhouse_user الجديد:

    psql -U clickhouse_user -W -d db1 -h <your_postgresql_host>
   
2. في ClickHouse

   1. سجّل الدخول إلى ClickHouse CLI

   clickhouse-client --user default --password ClickHouse123!
   

   2. فعّل الميزة التجريبية لـ PostgreSQL لمحرك قاعدة البيانات:

   SET allow_experimental_database_materialized_postgresql=1
   

   3. أنشئ قاعدة البيانات الجديدة المراد نسخها متماثلًا وحدد الجدول الأولي:

   CREATE DATABASE db1_postgres
   ENGINE = MaterializedPostgreSQL('postgres-host.domain.com:5432', 'db1', 'clickhouse_user', 'ClickHouse_123')
   SETTINGS materialized_postgresql_tables_list = 'table1';
   

   الخيارات الأساسية:

   المعلمة	الوصف	المثال
   host:port	اسم المضيف أو عنوان IP والمنفذ	postgres-host.domain.com:5432
   database	اسم قاعدة بيانات PostgreSQL	db1
   user	اسم المستخدم للاتصال بـ postgres	clickhouse_user
   password	كلمة المرور للاتصال بـ postgres	ClickHouse_123
   settings	إعدادات إضافية للمحرك	materialized_postgresql_tables_list = ‘table1’

   للاطلاع على الدليل الكامل لمحرك قاعدة بيانات PostgreSQL، راجع https://clickhouse.com/docs/engines/database-engines/materialized-postgresql/#settings

   4. تحقّق من أن الجدول الأولي يحتوي على بيانات:

   ch_env_2 :) select * from db1_postgres.table1;
   
   SELECT *
   FROM db1_postgres.table1
   

   Query id: df2381ac-4e30-4535-b22e-8be3894aaafc
   
   ┌─id─┬─column1─┐
   │  1 │ abc     │
   └────┴─────────┘
   ┌─id─┬─column1─┐
   │  2 │ def     │
   └────┴─────────┘
   
3. اختبار النسخ المتماثل الأساسي

   1. في PostgreSQL، أضف صفوفًا جديدة:

   INSERT INTO table1
   (id, column1)
   VALUES
   (3, 'ghi'),
   (4, 'jkl');
   

   2. في ClickHouse، تحقّق من ظهور الصفوف الجديدة:

   ch_env_2 :) select * from db1_postgres.table1;
   
   SELECT *
   FROM db1_postgres.table1
   

   Query id: b0729816-3917-44d3-8d1a-fed912fb59ce
   
   ┌─id─┬─column1─┐
   │  1 │ abc     │
   └────┴─────────┘
   ┌─id─┬─column1─┐
   │  4 │ jkl     │
   └────┴─────────┘
   ┌─id─┬─column1─┐
   │  3 │ ghi     │
   └────┴─────────┘
   ┌─id─┬─column1─┐
   │  2 │ def     │
   └────┴─────────┘
   
4. الملخص

   يركّز دليل التكامل هذا على مثال بسيط لكيفية إجراء نسخ متماثل لقاعدة بيانات تحتوي على جدول، ولكن تتوفر خيارات أكثر تقدمًا، تشمل إجراء نسخ متماثل لقاعدة البيانات بأكملها أو إضافة جداول ومخططات جديدة إلى عمليات النسخ المتماثل الحالية. وعلى الرغم من أن أوامر DDL غير مدعومة في هذا النسخ المتماثل، يمكن ضبط المحرك لاكتشاف التغييرات وإعادة تحميل الجداول عند إجراء تغييرات هيكلية.

   لمزيد من الميزات المتاحة ضمن الخيارات المتقدمة، راجع الوثائق المرجعية.