cloud / systemen
OBSERVABILITY · BEHEER · AUTOMATISERING
Toen ik in 2000 begon, bestond het uitgangspunt uit een handvol servers en scripts voor loganalyse, niet uit een monitoringsysteem dat de groeiende complexiteit kon bijhouden.
Reactieve loganalyse vervangen door monitoring die met de infrastructuur kon meegroeien en problemen signaleerde voordat gebruikers ze meldden.
Begin met Nagios en Zabbix, voeg servicechecks en meldingen toe en bewaar prestatiemetingen voor trendanalyse.
Een steeds verder ontwikkelde monitoringpraktijk, later aangevuld met Grafana en Checkmk, die vroege waarschuwingen combineert met inzicht in de operatie op langere termijn.
Lees de praktijkbeschrijving+
Een kleine omgeving met een groeiende blinde vlek. Aanvankelijk waren er alleen een handvol servers en scripts die logbestanden analyseerden. Toen het platform groeide, kon die aanpak de schaal en complexiteit niet bijhouden. Bovendien was die reactief: hij vertelde ons wat er al was gebeurd.
De baas en de klant zijn geen monitoringtools. Waarom wachten tot er iets misgaat om het op te merken? Als een leidinggevende of klant als eerste een storing meldt, loopt beheer al achter. Naast het incident zelf brengt dat ook het vertrouwen in het team in gevaar, binnen en buiten de organisatie.
Het klassieke voorbeeld: een TLS-certificaat dat bijna verloopt. In 2000 bestond de automatisering voor certificaatvernieuwing die we nu kennen nog niet in dezelfde vorm. Let’s Encrypt kwam veel later, in 2015. We moesten naderende vervaldata bewaken in plaats van ze via een verbroken verbinding te ontdekken. Certificaateisen en uitgevers kunnen verschillen; ook een geautomatiseerd vernieuwingsproces moet worden bewaakt.
Detecteren, melden en het bewijs bewaren. Onze eerste keuzes waren Nagios en Zabbix. We hadden controles nodig die problemen ontdekten en meldingen die iemand bereikten die kon ingrijpen. Meldingen gingen vooral naar het team met 24/7-bereikbaarheidsdienst, zodat incidenten dag en nacht konden worden opgepakt. Door kostenbeperkingen had de website toen nog geen hoogbeschikbare architectuur. Betrouwbare detectie en snel reageren waren daarom essentieel voor de best mogelijke dienstverlening; monitoring zelf nam het risico op uitval niet weg. In de loop der jaren kwamen daar SMS, WhatsApp en PagerDuty als meldingskanalen bij. Dat waren latere ontwikkelingen; ik beweer niet dat die allemaal in 2000 werden gebruikt.
Van incidenten naar trends. Door prestatiemetingen vast te leggen kon ik verder kijken dan één alarm: hoe ontwikkelden belasting, latentie en beschikbare capaciteit zich door de tijd? Later kwamen Grafana en Checkmk erbij. Het doel bleef hetzelfde: verslechtering eerder herkennen en met gegevens begrijpen waar het systeem naartoe ging.
Het principe dat bleef. Monitoring is meer dan een verzameling dashboards. Het moet het team de kans geven om te handelen voordat iemand anders moet vertellen dat er een probleem is.
Historische bron: de aankondiging van het eerste openbare Let’s Encrypt-certificaat (2015).
- Nagios
- Zabbix
- Grafana
- Checkmk