Deine App überwachen
Ob deine App wie erwartet funktioniert oder nicht, es gibt verschiedene Möglichkeiten herauszufinden, was falsch ist.
Logs
Um Logs anzuzeigen, kannst du entweder Cockpit oder nctl verwenden.
Verschiedene Komponenten von Deploio können Logs ausgeben:
- Build: Dies sind Logs, die vom Build-Prozess erzeugt werden. Nützlich, wenn es ein Problem beim Erstellen deiner App gibt.
- App: Diese Logs enthalten die Ausgabe der App-Replikas an stdout/stderr während der Laufzeit.
- Worker Job: Diese Logs enthalten die Ausgabe des Worker-Jobs an stdout/stderr während der Laufzeit.
- Deploy Job: Diese Logs enthalten die Ausgabe des Deploy-Jobs an stdout/stderr während der Laufzeit.
- Scheduled Job: Diese Logs enthalten die Ausgabe des Scheduled-Jobs an stdout/stderr während der Laufzeit.
Die Logs werden für 30 Tage aufbewahrt.
Events
Neben der Ausgabe deiner App enthalten die Logs Events zu den Replikas deiner
App, zum Beispiel wenn ein Replika neu gestartet wird oder eine Health Probe
fehlschlägt. Sie helfen dir herauszufinden, warum deine App nicht startet oder
immer wieder neu startet. Event-Zeilen haben die Bezeichnung source="event".
$ nctl logs app go --type event
2026-11-09T10:12:03+01:00 {replica="go-59dcf7656f-9wr52", source="event"} failed to start container go: command "start.sh" not found
2026-11-09T10:12:05+01:00 {replica="go-59dcf7656f-9wr52", source="event"} back-off restarting failed container go
Manche Events zeigen dir, was zu tun ist, zum Beispiel:
failed to start container <name>: command "<command>" not found: Der Befehl deiner App existiert nicht im Image.failed to start container <name>: command "<command>" is not executable: Stelle bei Skripten sicher, dass sie ausführbar sind, zum Beispiel mitchmod +x.Container <name> was killed because it ran out of memory ...: Das Replika hat mehr Arbeitsspeicher verwendet als sein Limit. Reduziere den Speicherverbrauch deiner App oder wähle eine grössere Size.back-off restarting failed container <name>: Der Container wurde beendet und wird mit zunehmender Verzögerung neu gestartet. Die Log-Zeilen des Replikas vor diesem Event zeigen meist, warum er beendet wurde.<probe> probe failed for container <name>: Eine Health Probe des Replikas ist fehlgeschlagen. Siehe Health Probe.
Build-Logs enthalten nur die Events, die einen fehlgeschlagenen oder hängenden Build erklären, zum Beispiel wenn dem Build der Arbeitsspeicher ausgegangen ist. Bei Scheduled Jobs werden nur deren Start und Fehler angezeigt.
Die Zeitstempel von Events sind nur auf die Sekunde genau. Innerhalb derselben Sekunde können Events deshalb untereinander und im Vergleich zu den Log-Zeilen deiner App leicht in falscher Reihenfolge erscheinen.
Format von Log-Zeilen
Jede Zeile, die deine App an stdout oder stderr ausgibt, muss mit einem
Zeilenumbruch (\n) enden. Deploio behandelt Ausgaben ohne abschliessenden
Zeilenumbruch als unvollständige Zeile und hält sie zurück, bis die Zeile
vervollständigt wird. Dadurch kann die Ausgabe erst viel später oder gar nicht
in den Logs erscheinen.
Davon betroffen sind vor allem kurzlebige Prozesse wie Scheduled Jobs oder Deploy Jobs, die ihre letzte Zeile ohne Zeilenumbruch ausgeben und sich danach beenden.
Häufige Ursachen sind:
printf "done"stattprintf "done\n"in Shell-Skriptenecho -nprocess.stdout.write("done")in Node.jsprint("done", end="")in Python$stdout.print "done"in Ruby
Die meisten Logging-Bibliotheken fügen den Zeilenumbruch automatisch hinzu.
Beispiele
Zeige alle Logs einer App an. Diese Beispiele verwenden alle eine App
namens go:
$ nctl logs app go
2024-10-22T16:07:55+02:00 {build="go-build-1", replica="go-build-1-build-pod"} Build successful
2024-10-22T16:07:59+02:00 {replica="go-59dcf7656f-9wr52"} 2024/10/22 14:07:59 starting HTTP server on :5678
Die Bezeichnungen zwischen den geschweiften Klammern geben an, zu welcher
Komponente jede Protokollzeile gehört. Die Bezeichnungen können mit der Option
--no-labels deaktiviert werden.
Nur die Haupt-App-Logs anzeigen.
nctl logs app go --type app
Worker-Job-Logs einer App anzeigen.
nctl logs app go --type worker_job
Deploy-Job-Logs einer App anzeigen.
nctl logs app go --type deploy_job
Scheduled-Job-Logs einer App anzeigen.
nctl logs app go --type scheduled_job
Nur die Events einer App anzeigen.
nctl logs app go --type event
Alle Build-Logs einer App anzeigen.
nctl logs app go --type build
Alternativ kannst du auch die Logs eines bestimmten Builds mit dem Befehl
logs build anzeigen.
nctl logs build go-build-1
Du kannst das Flag -f hinzufügen, um den Logs zu folgen, während sie
ausgegeben werden.
nctl logs app go -f
Um mehr Zeilen zu erhalten, verwende das Flag -l/--lines.
nctl logs app go-example -l 1000
Um weiter zurück in der Zeit zu gehen, verwende das Flag -s/--since.
Zeitspannen können mit 1s (1 Sekunde), 1m (1 Minute) und 1h (1 Stunde)
angegeben werden.
nctl logs app go-example -s 48h
Statistiken
Um eine Übersicht über die App-Replikas, ihren Status und ihre
Ressourcennutzung zu erhalten, kannst du das Flag -o stats für den Befehl
nctl get app verwenden.
$ nctl get app rails -o stats
PROJECT NAME REPLICA STATUS CPU CPU% MEMORY MEMORY% RESTARTS LASTEXITCODE
nine-staging rails rails-9f6bdb676-crlrf ready 1m 0.8% 121MiB 47.4% 0 <none>
nine-staging rails rails-9f6bdb676-2pfps ready 1m 0.8% 123MiB 48.4% 0 <none>
nine-staging rails rails-9f6bdb676-sd9mm ready 1m 0.8% 122MiB 48.0% 1 137 (Out of memory)
Wenn du Worker-Jobs definiert hast, werden diese auch hier angezeigt. Die
Hilfeausgabe von nctl get app -h beschreibt alle Spalten:
REPLICA: The name of the app replica.
STATUS: Current status of the replica.
CPU: Current CPU usage in millicores (1000m is a full CPU core).
CPU%: Current CPU usage relative to the app size. This can be over 100% as Deploio allows bursting.
MEMORY: Current Memory usage in MiB.
MEMORY%: Current Memory relative to the app size. This can be over 100% as Deploio allows bursting.
RESTARTS: The amount of times the replica has been restarted.
LASTEXITCODE: The exit code the last time the replica restarted. This can give an indication on why the replica is restarting.
Metriken
Einige grundlegende Applikationsmetriken findest du direkt im Cockpit.
Wenn du detailliertere Metriken benötigst und diese mit deinen eigenen Dashboards visualisieren möchtest, installiere eine Grafana-Instanz, um auf diese zuzugreifen.
Dashboard
Sobald deine Organisation mindestens eine Deploio-App hat, installieren wir ein Deploio-Dashboard in deiner Grafana-Instanz. Es zeigt die CPU- und Memory-Nutzung, die Replicas, die Neustarts und die HTTP-Requests deiner Apps.
Verfügbare Metriken
Alle Metriken haben ein app-Label mit dem Namen der App und ein nine_project-Label mit dem Namen ihres Projekts. Die Metriken mit dem Label replica enthalten eine Zeitreihe pro Replica der App.
Die CPU-Nutzungsmetriken, die HTTP-Request-Metriken und die Metriken, die auf _total enden, sind Counter. Verwende sie mit rate() oder increase().
App
| Metrik | Labels | Beschreibung |
|---|---|---|
application_cpu_usage_seconds | replica | Von der Replica verbrauchte CPU-Zeit in Sekunden. |
application_cpu_limit_cores | replica | CPU-Limit der Replica in Cores. |
application_memory_usage_bytes | replica | Von der Replica genutzter Memory in Bytes. |
application_memory_limit_bytes | replica | Memory-Limit der Replica in Bytes. |
application_restarts_total | replica | Anzahl Neustarts der Replica. |
application_replicas_desired | Anzahl Replicas, welche die App haben soll. | |
application_replicas_ready | Anzahl Replicas, die bereit sind. | |
application_replicas_total | Anzahl Replicas, die zurzeit existieren, inklusive der noch nicht bereiten. |
HTTP
Diese Metriken werden beim Load Balancer vor deiner App gemessen.
| Metrik | Beschreibung |
|---|---|
application_http_requests_total | Anzahl HTTP-Requests an die App. |
application_http_requests_2xx | Anzahl HTTP-Requests, die mit einem 2xx-Statuscode beantwortet wurden. |
application_http_requests_3xx | Anzahl HTTP-Requests, die mit einem 3xx-Statuscode beantwortet wurden. |
application_http_requests_4xx | Anzahl HTTP-Requests, die mit einem 4xx-Statuscode beantwortet wurden. |
application_http_requests_5xx | Anzahl HTTP-Requests, die mit einem 5xx-Statuscode beantwortet wurden. |
application_http_response_duration_avg | Durchschnittliche Antwortzeit der letzten 1024 Requests in Sekunden. |
application_http_response_duration_max | Maximale Antwortzeit seit dem letzten Neustart des Load Balancers in Sekunden. |
Worker Jobs
Alle Worker-Job-Metriken haben ein worker_job-Label mit dem Namen des Worker Jobs.
| Metrik | Labels | Beschreibung |
|---|---|---|
worker_job_cpu_usage_seconds | replica | Von der Worker-Job-Replica verbrauchte CPU-Zeit in Sekunden. |
worker_job_cpu_limit_cores | replica | CPU-Limit der Worker-Job-Replica in Cores. |
worker_job_memory_usage_bytes | replica | Von der Worker-Job-Replica genutzter Memory in Bytes. |
worker_job_memory_limit_bytes | replica | Memory-Limit der Worker-Job-Replica in Bytes. |
worker_job_restarts_total | replica | Anzahl Neustarts der Worker-Job-Replica. |
Builds
| Metrik | Labels | Beschreibung |
|---|---|---|
application_build_last_success | 1, wenn der letzte abgeschlossene Build erfolgreich war, 0, wenn er fehlgeschlagen ist. | |
application_build_last_failed_stage | stage | Phase, in welcher der letzte abgeschlossene Build fehlgeschlagen ist. Existiert nur, wenn die Phase bekannt ist. |
application_build_last_duration_seconds | Dauer des letzten abgeschlossenen Builds von seiner Erstellung bis zum Abschluss in Sekunden, inklusive Wartezeit. | |
application_build_last_completion_timestamp_seconds | Unix-Zeitstempel, zu dem der letzte abgeschlossene Build abgeschlossen wurde. | |
application_build_last_trigger | trigger | Auslöser des letzten abgeschlossenen Builds, eine Zeitreihe pro Auslöser. |
application_build_running | 1, wenn ein Build wartet oder läuft, sonst 0. | |
application_build_running_creation_timestamp_seconds | Unix-Zeitstempel, zu dem der laufende Build erstellt wurde. | |
application_build_running_trigger | trigger | Auslöser des laufenden Builds, eine Zeitreihe pro Auslöser. |
application_build_finished_total | result, stage | Anzahl abgeschlossener Builds. result ist success oder failure, fehlgeschlagene Builds haben zudem eine stage. |
Das Label stage zeigt, in welchem Teil der Build fehlgeschlagen ist:
source_fetch: Abrufen des Quellcodes aus deinem Git-Repository.detection: Erkennen, wie deine App gebaut wird, zum Beispiel ihre Sprache.build: Bauen deiner App, inklusive Dockerfile-Builds.platform: Vorbereiten des Builds, der Build-Cache oder das Speichern des gebauten Images. Diese Fehler werden höchstwahrscheinlich nicht durch deine App verursacht. Wiederhole den Build und kontaktiere uns, wenn er weiterhin fehlschlägt.unknown: Die Phase konnte nicht bestimmt werden. Wird nur inapplication_build_finished_totalverwendet.
Das Label trigger zeigt, weshalb ein Build gestartet wurde. Ein Build kann mehrere Auslöser haben:
source: ein neuer Commit in deinem Git-Repository.config: eine Änderung der Build-Konfiguration, zum Beispiel einer Build-Umgebungsvariable. Auch der erste Build einer App hat diesen Auslöser.retry: Der Build wurde wiederholt, siehe Build wiederholen.buildpack_update: Wir haben die Buildpacks aktualisiert.base_image_update: Wir haben das Basis-Image deiner App aktualisiert.unknown: Der Auslöser konnte nicht bestimmt werden.
Beispielabfragen
CPU-Nutzung jeder Replica im Verhältnis zu ihrem Limit:
sum by (nine_project, app, replica) (rate(application_cpu_usage_seconds[5m]))
/ sum by (nine_project, app, replica) (application_cpu_limit_cores)
Anteil der HTTP-Requests, die mit einem 5xx-Statuscode beantwortet wurden:
sum by (nine_project, app) (rate(application_http_requests_5xx[5m]))
/ sum by (nine_project, app) (rate(application_http_requests_total[5m]))
Apps, deren letzter Build fehlgeschlagen ist:
application_build_last_success == 0
Fehlgeschlagene Builds der letzten 24 Stunden nach Phase:
sum by (stage) (increase(application_build_finished_total{result="failure"}[24h]))
Builds, die seit mehr als 30 Minuten laufen:
time() - application_build_running_creation_timestamp_seconds > 1800