PostgreSQL és ClickHouse üzemeltetés

OLTP és elemzés, jól szétválasztva

A PostgreSQL kiváló tranzakciókra: rendelésekre, számlákra, felhasználókra, készletekre. Törékennyé válik, ha ugyanazokat a táblákat hosszú riportok és irányítópultok is pásztázzák. Az elemző terhelést ClickHouse-ra visszük, Debezium alapú CDC-vel folyamatosan replikálva, és a PostgreSQL-t hagyjuk azt csinálni, amiben a legjobb. Az eredmény kézzelfogható: a riportok többé nem blokkolják az írásokat, a milliós sorokon futó lekérdezések pedig kiegyenlített idő alatt térnek vissza, nem óránként ingadozva.

• Elkülönített adatmodell: tranzakciós táblák PostgreSQL-ben, aggregátumok ClickHouse-ban
• Folyamatos CDC Debeziummal, kézi fájlexport nélkül
• MergeTree TTL-lel és materializált nézetekkel az ismétlődő riportokhoz
• Időszak szerinti particionálás, hogy a régi adat ne lassítsa a friss hónapot

Bevált gyakorlatok, amelyeket alkalmazunk

Egy jól üzemeltetett adatbázis két pillanatban mutatkozik meg: amikor nő a forgalom, és amikor vissza kell állítani egy mentést. Mindkettőre rögzített ellenőrzőlistát alkalmazunk minden átadásnál, és ezt a te dokumentációdban is rögzítjük. Nem varázslatos finomhangolást ígérünk, és nem fórumokról másolt paramétereket alkalmazunk: azokat a beállításokat vezetjük be, amelyek megelőzik a gyakori incidenseket, majd minden feltevést a te adataidon és a te lekérdezéseiden tesztelünk, nem egy általános, a valós forgalomtól idegen benchmarkon.

• Rendszeresen tesztelt PITR visszaállítás, mért és rögzített helyreállítási idővel
• Folyamatos replikáció és automatikus feladatátvétel Patronival, ellenőrzött váltással
• Kapcsolatpooling PgBouncerrel, hogy az alkalmazás ne merítse ki a háttérfolyamatokat
• Minimális jogosultságú szerepkörök, kötelező TLS, nyilvánosan elérhető adatbázisport nélkül
• Az autovacuum és az indexelés a valódi lekérdezésekre hangolva, nem az alapértelmezett értékeken

Helyi kontextus: GDPR, NAIH és riportolás

Sok magyarországi csapat ugyanabból az okból jut el a ClickHouse-ig: a dokumentumok és üzleti események száma megnőtt, a történeti riportok pedig versenyezni kezdtek a napi üzemeltetéssel. Az adatok Frankfurtban maradnak, ez leegyszerűsíti a GDPR és az Infotv. szerinti egyeztetést a NAIH felügyelete alatt, valamint az adatfeldolgozási szerződés kérdését. Az átadás nálunk az ISO 27001-hez igazodó gyakorlat szerint történik, formális tanúsítvány nélkül.

Hogyan kapcsolódik az előfizetéshez

Az üzemeltetés a havi órák terhére történik: a VPS-terveken 1–8 óra, a dedikált szervereken csomagtól függően havi 5–10 óra, a GPU szervereken havi 10 óra. Az órákat az ügyfélpanelből kéred, a DevOps szolgáltatások menüpontból, a javasolt határidővel. Egy adatbázis-migráció, egy finomhangolási kör vagy a replikáció beállítása egy hónapra ütemezhető; az órák nem gördülnek át, ezért hatás szerinti sorrendben használjuk fel őket. Ami a keretet meghaladja, azt vállaljuk, és külön, óradíj alapján számlázzuk.

Hogyan dolgozunk

1. Igényled a panelből

   Leírod a jelenlegi adatbázist, az adatmennyiséget és a lassú lekérdezéseket, majd javasolsz egy határidőt a DevOps szolgáltatások menüpontban.

2. Egyeztetjük a kereteket

   Először mérünk: méretet, indexeket, lassú lekérdezéseket. Utána elmondjuk, mit old meg a finomhangolás, és mihez kell replikáció vagy ClickHouse.

3. Megvalósítjuk és teszteljük a visszaállítást

   Beállítjuk a replikációt, a mentést és a poolingot, áthelyezzük a riportokat, majd teljes visszaállítást végzünk a helyreállítási idő ellenőrzésére.

4. Dokumentálva átadjuk

   Megkapod a sémát, az alkalmazott paramétereket, a mentési tervet, a feladatátvételi eljárást és a tesztelt visszaállítás mért eredményeit.

Felhasználási esetek

Technológiák

• PostgreSQL 16
• Patroni
• PgBouncer
• pgBackRest
• ClickHouse
• Debezium
• Apache Kafka
• Grafana

Gyakori kérdések

• ClickHouse vagy PostgreSQL: melyik jobb elemzésre?

  Nagy adatmennyiségű aggregálásra egyértelműen a ClickHouse: oszloposan tárol, és csak a kért oszlopokat olvassa be. A PostgreSQL marad a jobb választás tranzakciókra, hivatkozási integritásra és pontos lekérdezésekre. A gyakorlatban együtt használjuk őket, nem egymás helyett.

• Mikor van szükséged ClickHouse-ra a PostgreSQL helyett?

  Akkor, ha a riportjaid több tízmillió sort pásztáznak, ha az időbeli adatsorok folyamatosan nőnek, vagy ha az irányítópultok már lassítják az éles írásokat. Ha a riportjaid gyorsan visszatérnek, és az adatbázis mérete még néhány gigabájt, a ClickHouse csak felesleges komplexitást hozna.

• Mit foglal magába a menedzselt PostgreSQL szolgáltatás?

  Telepítést és beállítást a megfelelő hardveren, replikációt automatikus feladatátvétellel, tesztelt PITR mentést, monitorozást és riasztást, verziófrissítést, paraméter- és indexhangolást, valamint biztonságos szerepkörkezelést. Mindezt az előfizetésedbe foglalt havi órák terhére végezzük, dokumentálva minden lépést.

• Hol tárolják az adatbázist, és ki fér hozzá?

  Az Európai Unióban, Frankfurtban. Az adminisztratív hozzáférés kulcsokkal, privát hálózaton vagy VPN-en keresztül történik, sosem nyilvános porton. A GDPR szerinti adatfeldolgozási szerződést és a nemzetközi adattovábbításhoz szükséges szerződéses klauzulákat is megkapod.

• Tarthatom a PostgreSQL-t és a ClickHouse-t ugyanazon a szerveren?

  Igen, kisebb adatmennyiségnél vagy a bevezetési szakaszban, külön erőforráskorláttal mindkettőnek. Ahogy a ClickHouse egyre több memóriát igényel a nagy lekérdezésekhez, külön gépre választjuk szét őket, hogy egy nehéz riport ne befolyásolja a tranzakciókat.

• Milyen gyorsan lehet visszaállítani az adatbázist egy incidens után?

  Ez a mérettől és a hiba típusától függ, ezért mérés nélkül nem mondunk konkrét számot. Teszt-visszaállítást végzünk a te adataidon, rögzítjük a mért időt, és belefoglaljuk a dokumentációba, hogy előre tudd, mire számíthatsz.