Cấu hình giám sát ClickHouse với Prometheus và Grafana
Bước 1: Kích hoạt Exporter Metrics trong ClickHouse Server
Để Prometheus có thể thu thập dữ liệu, bạn cần mở cổng HTTP riêng cho metrics và cấu hình đường dẫn endpoint.
Sửa file cấu hình chính /etc/clickhouse-server/config.d/prometheus.xml để thêm đoạn cấu hình sau.
Tạo file mới hoặc sửa nội dung nếu đã tồn tại:
cat > /etc/clickhouse-server/config.d/prometheus.xml
Kết quả mong đợi: File cấu hình được tạo thành công, không báo lỗi cú pháp XML.
Bước 2: Khởi động lại ClickHouse và kiểm tra cổng
Áp dụng thay đổi cấu hình bằng cách restart service.
systemctl restart clickhouse-server && sleep 3 && curl -s http://localhost:9363/metrics | head -n 5
Kết quả mong đợi: Bạn thấy các dòng metric bắt đầu bằng # HELP hoặc clickhouse_ (ví dụ: clickhouse_build_info).
Bước 3: Cài đặt và cấu hình Prometheus
Cài đặt Prometheus để làm trung tâm thu thập metrics.
apt update && apt install -y prometheus
Cấu hình Prometheus để nó biết cách scrape dữ liệu từ ClickHouse trên cổng 9363.
Sửa file /etc/prometheus/prometheus.yml. Xóa hoặc comment các job mặc định (node_exporter) nếu không cần, và thêm job ClickHouse:
cat > /etc/prometheus/prometheus.yml
Kết quả mong đợi: File cấu hình YAML được ghi đè thành công, không báo lỗi syntax.
Bước 4: Khởi động Prometheus và xác thực
Restart service Prometheus để áp dụng cấu hình mới.
systemctl restart prometheus && systemctl status prometheus
Truy cập vào giao diện web của Prometheus để kiểm tra target:
curl -s http://localhost:9090/api/v1/targets | jq '.data.activeTargets[] | select(.labels.job=="clickhouse")'
Kết quả mong đợi: JSON trả về trạng thái "health": "UP" cho target ClickHouse.
Chiến lược Backup và Restore dữ liệu
Bước 1: Cài đặt công cụ clickhouse-backup
Công cụ này cho phép backup toàn bộ dữ liệu ở cấp độ file system (snapshot) mà không làm chậm server quá nhiều.
apt install -y clickhouse-backup
Kết quả mong đợi: Package được cài đặt, command clickhouse-backup sẵn sàng sử dụng.
Bước 2: Cấu hình quyền truy cập và lưu trữ
Đảm bảo user clickhouse có quyền truy cập vào thư mục backup.
mkdir -p /var/lib/clickhouse/backup && chown clickhouse:clickhouse /var/lib/clickhouse/backup
Tạo file cấu hình backup /etc/clickhouse-backup/config.yaml để định nghĩa nơi lưu trữ (tạm thời dùng local disk).
cat > /etc/clickhouse-backup/config.yaml <
Điều hướng series:
Mục lục: Series: Triển khai Database Real-time với ClickHouse trên Ubuntu 24.04
« Phần 6: Xử lý dữ liệu và tối ưu hóa truy vấn thực thi