Cloupard
Kuzatuv ostidagi Kubernetes xizmati

Cert-manager moduli

Cert-manager’ning v1.12.3 versiyasini ishonchli va yuqori mavjudlikka ega tarzda o‘rnatishni ta’minlaydi.

Modul o‘rnatilganda klasterning o‘ziga xos xususiyatlari avtomatik tarzda hisobga olinadi:

• kube-apiserver murojaat qiladigan komponent (webhook) master-uzellarga o‘rnatiladi;
• agar webhook vaqtincha mavjud bo‘lmasa, cert-manager ishlashi klasterni to‘xtatmasligi uchun apiservice vaqtincha olib tashlanadi.

Modul yangilanishi avtomatik tarzda amalga oshiriladi, shu jumladan cert-manager resurslarining migratsiyasi bilan birga.

Kubernetes klasterida tarmoq ishlashini Cilium modul orqali ta'minlaydi.

Cheklovlar:

1.NodePort va LoadBalancer turidagi servislar hostNetwork endpointlar bilan LB-DSR (Direct Server Return) rejimida ishlamaydi. Agar kerak bo‘lsa, SNAT rejimiga o‘tilishi lozim

2.HostPort podlar faqat bitta IP manzilga bog‘lanadi. Agar tizimda bir nechta interfeys yoki IP mavjud bo‘lsa, Cilium ulardan birini tanlaydi va odatda «kulrang» (privat) IP’larni «oq» (publik) IP’lardan ustun qo‘yadi.

3.Kernel (yadro) talablari:

• cni-cilium moduli uchun Linux kernel versiyasi ≥ 5.7 bo‘lishi kerak.
• cni-cilium moduli istio, openvpn yoki node-local-dns modullari bilan ishlashi uchun ham Linux kernel versiyasi ≥ 5.7 talab qilinadi.

4.Operatsion tizimlar bilan muvofiqlik muammolari:

• Ubuntu:
• 18.04 versiyada ishlamaydi;
• 20.04 versiyada ishlashi uchun HWE (Hardware Enablement) yadro o‘rnatilishi zarur.
• Astra Linux:
• “Smolensk” nashrida ishlamaydi.
• CentOS:

7 versiyada ishlashi uchun yangi yadro repodan o‘rnatilishi kerak;

8 versiyada ham yangilangan yadro talab qilinadi.

• Sertifikatlarni boshqarish — control plane ishlashi uchun zarur bo‘lgan sertifikatlarni chiqarish, yangilash va konfiguratsiya o‘zgarishida qayta chiqarishni avtomatik tarzda ta’minlaydi. Bu xavfsiz konfiguratsiyani saqlab turish va Kubernetes API’ga himoyalangan ulanish uchun qo‘shimcha SAN’larni tez qo‘shish imkonini beradi.
• Komponentlarni sozlash — control plane komponentlari uchun kerakli konfiguratsiyalar va manifestlarni avtomatik tarzda yaratadi.
• Komponentlarni yangilash yoki orqaga qaytarish — klasterdagi barcha control plane komponentlarining versiyalarini bir xil darajada ushlab turadi.
• etcd klasterini boshqarish — etcd konfiguratsiyasini va a’zolarini boshqaradi. Master tugunlarni masshtablaydi, single-master dan multi-masterga va aksincha o‘tishni qo‘llab-quvvatlaydi.
• kubeconfig sozlamasi — kubectl ishlashi uchun doimiy yangilanib turuvchi konfiguratsiyani ta’minlaydi. cluster-admin huquqlariga ega kubeconfig’ni yaratadi, yangilaydi, muddati tugagach uzaytiradi va root foydalanuvchisi uchun symlink o‘rnatadi, shunda kubeconfig avtomatik qo‘llaniladi.

Ushbu modul Kubernetes klasterida DNS boshqaruvi uchun CoreDNS komponentlarini o‘rnatadi.

• Deckhouse quyidagi resurslarni kuzatadi:

ClusterLoggingConfig

ClusterLogDestination

PodLoggingConfig

Loglarni yig‘ish va yuborish yo‘nalishini belgilovchi konfiguratsiyalar kombinatsiyasi pipeline deb ataladi.

• Deckhouse konfiguratsion faylni yaratib, uni Kubernetes'dagi Secret sifatida saqlaydi.
• Bu Secret log-shipper agentlari podlariga montaj qilinadi va konfiguratsiya o‘zgartirilganda sidecar-container (reloader) orqali avtomatik yangilanadi.

Modul jurnalni saqlashni tashkil qilish uchun mo'ljallangan.

Modul Grafana Loki modulidan foydalanadi.

Modul Grafana Loki-ga asoslangan jurnal xotirasini o'rnatadi, agar kerak bo'lsa log-jo'natuvchi modulni loki modulidan foydalanish uchun sozlaydi va Grafana-ga tegishli ma'lumotlar manbasini qo'shadi.

Modul klaster tugunlarini asosiy monitoring qilish uchun mo‘ljallangan.

U xavfsiz metrikalarni yig‘ishni ta’minlaydi va monitoring uchun asosiy qoidalar to‘plamini taqdim etadi:

• tugundagi container runtime (docker, containerd) ning joriy versiyasi va ruxsat etilgan versiyalarga mosligi;
• klasterni monitoring qilish quyi tizimining umumiy ishlash holati (Dead man’s switch);
• mavjud fayl deskriptorlari, soketlar, bo‘sh disk hajmi va inode'lar;
• kube-state-metrics, node-exporter, kube-dns ishlashi;
• klaster tugunlarining holati (NotReady, drain, cordon);
• tugunlardagi vaqt sinxronizatsiyasi holati;
• CPU steal davomiy oshib ketish holatlari;
• tugunlardagi Conntrack jadvali holati;
• noto‘g‘ri holatdagi podlar (masalan, kubelet bilan bog‘liq muammolar natijasi bo‘lishi mumkin) va boshqalar.

• extended-monitoring-exporter — kengaytirilgan o‘lchovlarni yig‘ish va bo‘sh joy va tugunlardagi inodelar haqida ogohlantirishlarni, shuningdek, kengaytmali-monitoring.deckhouse.io/enabled=” yorlig‘iga ega bo‘lgan nomlar maydonidagi obyektlarni “kengaytirilgan monitoringini” yoqish imkonini beradi;
• image-availability-exporter — koʻrsatkichlarni qoʻshadi va Deployments, StatefulSets, DaemonSets, CronJobs-dagi pod spetsifikatsiyasidan tasvir maydonida koʻrsatilgan registrdagi konteyner tasvirining mavjudligi bilan bogʻliq muammolar haqida bilish imkonini beruvchi ogohlantirishlarni yoqadi;
• voqealarni eksport qiluvchi - Kubernetes klasteridagi voqealarni to'playdi va ularni ko'rsatkichlar sifatida beradi;
• cert-exporter — Kubernetes klasterining sirlarini skanerlaydi va ulardagi sertifikatlarning amal qilish muddati tugashi haqidagi koʻrsatkichlarni hosil qiladi.

Modul klasterda Descheduler nomli custom resource’da belgilangan strategiyalar to‘plami bilan deschedulerni ishga tushiradi.

Descheduler har 15 daqiqada custom resource Descheduler’da yoqilgan strategiyalarga mos keladigan Podlarni chiqarib yuboradi. Bu esa chiqarilgan podlar uchun majburiy ravishda qayta joylashtirish (re-scheduling) jarayonini ishga tushiradi.

Custom Resource’lar yordamida NGINX Ingress controllerni o‘rnatadi va boshqaradi. Agar Ingress-kontroller joylashtiriladigan tugunlar (node) bir nechta bo‘lsa, u yuqori mavjudlik (high availability) rejimida o‘rnatiladi va bulutli yoki bare metal infratuzilmalari, shuningdek, turli turdagi Kubernetes klasterlari xususiyatlarini hisobga oladi.

Bir vaqtning o‘zida bir nechta NGINX Ingress controllerni ishga tushirish va ularni alohida sozlashni qo‘llab-quvvatlaydi — bittasi asosiy, qolganlari esa istalgancha qo‘shimcha bo‘lishi mumkin. Masalan, bu tashqi va ichki (intranet) Ingress resurslarini bir-biridan ajratishga imkon beradi.

Sertifikatlar orqali autentifikatsiya bilan OpenVPN orqali klaster resurslariga kirish imkonini beradi va oddiy veb-interfeysni taqdim etadi.

Veb-interfeys funksiyalari:

• sertifikatlarni chiqarish;
• sertifikatlarni bekor qilish;
• bekor qilishni qayta bekor qilish (sertifikatni tiklash);
• tayyor foydalanuvchi konfiguratsiya faylini olish.

Veb-interfeys user-authn moduli bilan integratsiyalashgan bo‘lib, turli foydalanuvchilarning ushbu veb-interfeysga kirish huquqini boshqarishga imkon beradi.

Modul bilan bog‘liq veb-interfeyslar: grafana

Prometheus’ni o‘rnatadi va to‘liq sozlaydi, ko‘plab keng tarqalgan ilovalardan metrikalarni yig‘ishni tashkil etadi, shuningdek Prometheus uchun zarur bo‘lgan minimal ogohlantirishlar (alertlar) to‘plami va Grafana uchun dashboard taqdim etadi.

Agar StorageClass avtomatik hajmni kengaytirishni qo‘llab-quvvatlasa (allowVolumeExpansion: true), Prometheus uchun diskda joy yetarli bo‘lmasa, uning hajmi avtomatik ravishda kengaytiriladi.

Vertical Pod Autoscaler moduli yordamida pod qayta yaratilganda, CPU va xotira (memory) resurslari avvalgi ishlatilish tarixi asosida avtomatik tarzda belgilanadi. Shuningdek, Trickster yordamida Prometheus so‘rovlarining keshlanishi orqali xotira iste'moli sezilarli darajada kamayadi.

Metrikalarni olishning pull (tortib olish) va push (jo‘natish) modellari qo‘llab-quvvatlanadi.

Modul bilan bog‘liq veb-interfeyslar: status, upmeter

Modul klaster va Deckhouse komponentlari uchun mavjudlik turlari bo‘yicha statistikani yig‘adi. Bu SLA bajarilish darajasini baholash, mavjudlik haqidagi ma’lumotlarni veb-interfeysda ko‘rsatish va klaster komponentlarining holati haqida sahifa taqdim etish imkonini beradi.

UpmeterRemoteWrite nomli custom resource yordamida mavjudlik metrikalarini Prometheus Remote Write protokoli orqali eksport qilish mumkin.

Modul tarkibi:

• agent — mavjudlikni tekshiruvchi sinovlarni o‘tkazadi va natijalarni serverga yuboradi, master-uzellarda ishlaydi.
• upmeter — natijalarni jamlovchi va ularni olish uchun API-server.
• front:
• status — so‘nggi 10 daqiqadagi mavjudlik darajasini ko‘rsatadi (standart bo‘yicha avtorizatsiya talab qilinadi, lekin o‘chirib qo‘yish mumkin);
• webui — sinovlar va mavjudlik guruhlari statistikasi bilan dashboard (avtorizatsiya talab qilinadi).
• smoke-mini — StatefulSet asosidagi doimiy smoke-test, haqiqiy ilovaga o‘xshash tarzda ishlaydi.

Modul har 5 daqiqada taxminan 100 ta metrika o‘lchovi yuboradi. Bu miqdor yoqilgan Deckhouse modullari soniga bog‘liq.

Modul Kubernetes va grafana va Dashboard kabi boshqa modullarda ishlatiladigan veb-interfeyslar bilan birlashtirilgan yagona autentifikatsiya tizimi uchun javobgardir.