PostgreSQL și ClickHouse administrat în România

OLTP și analitică, separate corect

PostgreSQL este excelent pentru tranzacții: comenzi, facturi, utilizatori, stocuri. Devine fragil când aceleași tabele sunt scanate de rapoarte lungi și dashboarduri. Mutăm partea analitică pe ClickHouse, replicat continuu prin CDC cu Debezium, și lăsăm PostgreSQL să facă doar ce știe mai bine. Rezultatul practic: rapoartele nu mai blochează scrierile, iar interogările pe milioane de rânduri se întorc într-un timp constant, nu cu variații de la o oră la alta.

• Model de date separat: tabele tranzacționale în PostgreSQL, agregate în ClickHouse
• CDC continuu cu Debezium, fără export manual de fișiere
• MergeTree cu TTL și vizualizări materializate pentru rapoarte recurente
• Partiționare pe perioade, ca istoricul să nu încetinească luna curentă

Bune practici pe care le aplicăm la baze de date

O bază de date administrată se vede în două momente: când crește traficul și când trebuie să restaurezi. Pentru amândouă avem o listă fixă de verificări, aplicată la fiecare livrare și lăsată scrisă în documentația ta. Nu promitem tuning magic și nu copiem parametri de pe forumuri: aplicăm setările care previn incidentele frecvente, apoi testăm fiecare ipoteză pe datele și pe interogările tale, nu pe un benchmark generic care nu seamănă cu traficul real.

• Restaurare PITR testată periodic, cu timp de recuperare măsurat și consemnat
• Replicare în flux și failover automat cu Patroni, comutare verificată
• Pooling de conexiuni cu PgBouncer, ca aplicația să nu epuizeze backend-urile
• Roluri cu privilegiu minim, TLS obligatoriu și niciun port de bază de date public
• Autovacuum și indexare ajustate pe interogările reale, nu pe valorile implicite

Context local: e-Factura, GDPR și rapoarte

Multe echipe din România ajung la ClickHouse din același motiv: volumul de documente și evenimente fiscale a crescut, iar rapoartele pe istoricul de e-Factura ANAF au început să concureze cu operarea zilnică. Datele rămân în Frankfurt, ceea ce simplifică discuția de GDPR cu ANSPDCP și clauzele din contractul de prelucrare, art. 28. Pentru transferuri există SCC, iar operarea noastră este aliniată la ISO 27001.

Cum se leagă de abonament

Administrarea intră în orele incluse lunar: 1–8 ore pe planurile VPS, 5–10 ore pe servere dedicate, în funcție de plan, și 10 ore pe GPU. Le ceri din panoul de client, la Servicii DevOps, cu termenul propus de tine. O migrare de bază de date, o campanie de tuning sau punerea replicării se planifică pe o lună; orele nu se reportează, deci le folosim în ordinea impactului. Ce depășește cota se acceptă și se facturează separat, la oră.

Cum lucrăm

1. Ceri lucrarea din panou

   Descrii baza de date actuală, volumul și interogările care te încurcă, apoi propui un termen din secțiunea Servicii DevOps a panoului.

2. Stabilim scopul și termenul

   Măsurăm întâi: dimensiuni, indecși, interogări lente. Apoi îți spunem ce se rezolvă prin tuning și ce cere replicare sau ClickHouse.

3. Livrăm și testăm restaurarea

   Punem replicarea, backupul și pooling-ul, mutăm rapoartele unde trebuie, apoi facem o restaurare completă ca să validăm timpul de recuperare.

4. Predăm cu documentație

   Primești schema, parametrii aplicați, planul de backup, procedura de failover și raportul restaurării de test, cu valorile obținute.

Cazuri de utilizare

Tehnologii

• PostgreSQL 16
• Patroni
• PgBouncer
• pgBackRest
• ClickHouse
• Debezium
• Apache Kafka
• Grafana

Întrebări frecvente

• ClickHouse vs PostgreSQL: care e mai bun pentru analitică?

  ClickHouse, fără discuție, pentru agregări pe volume mari: stochează pe coloane și citește doar coloanele cerute. PostgreSQL rămâne mai bun pentru tranzacții, integritate referențială și interogări punctuale. În practică le folosim împreună, nu una în locul celeilalte.

• Când ai nevoie de ClickHouse în loc de PostgreSQL?

  Când rapoartele scanează zeci de milioane de rânduri, când seriile de timp cresc constant sau când dashboardurile încep să încetinească scrierile din producție. Dacă rapoartele tale se întorc rapid și baza are câțiva gigabaiți, ClickHouse ar fi complexitate în plus fără câștig.

• Ce include un serviciu de PostgreSQL administrat?

  Instalare și configurare pe hardware potrivit, replicare cu failover, backup PITR cu restaurări testate, monitorizare și alertare, actualizări de versiune, tuning de parametri și indecși, plus roluri și acces securizat. Totul din orele incluse în abonamentul tău.

• Unde este găzduită baza de date și cine are acces?

  În datacentere din UE, la Frankfurt. Accesul administrativ este pe chei, pe rețea privată sau VPN, niciodată pe un port public. Primești contract de prelucrare conform art. 28 și, pentru transferuri, clauze contractuale standard.

• Pot ține PostgreSQL și ClickHouse pe același server?

  Da, la volume mici sau în etapa de validare, cu limite de resurse separate pentru fiecare. Pe măsură ce ClickHouse începe să consume memorie pentru interogări mari, le separăm pe mașini diferite ca un raport greu să nu afecteze tranzacțiile.

• Cât de repede se poate restaura baza după un incident?

  Depinde de volum și de tipul de defect, așa că nu dăm o cifră fixă înainte de a măsura. Facem o restaurare de test pe datele tale, notăm timpul obținut și îl trecem în documentație, ca să știi la ce te aștepți înainte să ai nevoie.