kubernetes monitoring dan alerting dengan prometheus grafana (part 2)

posted in: grafana, monitoring, prometheus | 0

halo sobat sekolahlinux, pada artikel part 2 kali ini saya akan memfokuskan tentang bagaimana cara membuat custom template untuk alertmanager, jika kalian melihat pada tutorial part 1 sebelumnya maka alert yang dikirim ke slack titlenya akan berantakan seperti dibawah ini

tentu tidak enak bukan melihat titlenya yang berantakan seperti diatas, maka dari itu kita akan membuat custom template sehingga title alertnya akan menjadi lebih mudah dibaca dan di pahami.

pertama buka values prometheus.yaml yang pada tutorial sebelumnya kita generated dari hasil helm inspect, lalu pada bagian alertmanager ConfigMap entries modifikasi menjadi seperti dibawah ini, disini receiversnya atau media untuk notifikasinya menggunakan slack

untuk detailnya paramater apa saja yang bisa kamu tambahkan serta penjelasan untuk setiap paramater yang digunakan  di alertmanager ConfigMap entries kamu bisa lihat di link berikut

lalu pada bagian Prometheus server ConfigMap entries khususnya di alerting_rules.yml, modifikasi menjadi seperti dibawah, disini saya menambahkan alert untuk mendeteksi pod mana yang gagal statusnya menjadi ready, baik itu error ataupun CrashloopBackOff dan juga status lainnya kecuali status pods ready, maka akan ada alert ke channel slack yang sudah kita set

pada rule diatas di paramater expr khususnya di alertname LowDiskSpaceRootVM saya memasukan query untuk mencari root disk yang usagenya sudah melebihi 75%, untuk live querynya kalian bisa ke web ui prometheus seperti gambar dibawah

lalu pada bagian prometheus.yml tepatnya di scrape_configs saya menambahkan baris seperti dibawah untuk mengambil metric dari instance yang sudah saya install node exporter, untuk tutorial install node exporter kamu bisa cari di google dengan keyword install node exporter ubuntu

untuk detailnya paramater apa saja yang bisa kamu tambahkan serta penjelasan untuk setiap paramater yang digunakan di Prometheus server ConfigMap entries entries kamu bisa lihat di link berikut

selanjutnya kita coba apply perubahan file values-prometheus.yaml nya dengan command seperti dibawah

lalu tunggu beberapa saat, maka tampilan warning yang masuk akan menjadi seperti dibawah ini

selanjutnya kita akan membahas apa kekurangan dan kelebihan dibanding  default alert rule sebelumnya

kelebihan:

  • title alert lebih rapih dan lebih mudah dipahami
  • text alert lebih tertata dan juga mudah di pahami

kekurangan:

  • title alert tidak dynamic atau bersifat static
  • agar mendapat balikan [RESOLVED] seluruh problem harus di solve dahulu, jadi misal ada 2 pods yang down, maka ke 2 pods tersebut harus up dahulu baru alert dengan status [RESOLVED] akan muncul
  • text alert yang muncul saat mendapat balikan [RESOLVED] terkadang masih membawa nama pods values dari variable yg sebelumnya sudah solve

nah sekian tutorial kali ini, untuk grafana akan di bahas pada part selanjutnya terimakasih

Leave a Reply

Your email address will not be published. Required fields are marked *