Protokoll Verzeichnisse
Der Standardspeicherort für SPARK_WORKER_LOG_DIR ist /var/Protokoll/Funke/Arbeiter. Der Standard Protokoll Verzeichnis zum Starten des Funke SQL Thrift-Server ist $HOME/Funke-thrift-server. Funke Hülle und Anwendung Protokolle werden an die Konsole ausgegeben. Protokoll Konfigurationsdateien befinden sich im selben Verzeichnis wie Funke-env.sh.
Wie erhalte ich diesbezüglich Funkenprotokolle?
Funke Job oder Bewerbung von der Seite Analysieren aus, können Sie auf die Protokolle über die Anwendungsoberfläche und Funke Anwendungs-UI. Seite können Sie auf die Protokolle über die Funke Anwendungs-UI. Sie können auch zusätzlich Protokolle um die Fehler und Ausnahmen in. zu identifizieren Funke Job- oder Bewerbungsfehler.
Wie überprüfen Sie auch Garnprotokolle? Anzeigen von Protokoll Datei Die Protokolle eines Anwendungsmasters kann auch in einem Browser in der Ressourcenmanager-Benutzeroberfläche unter http://${ angezeigt werden. Garn.resourcemanager.webapp.address}/cluster (http://localhost:8088 auf einem einzelnen Knoten "Cluster").
Ähnlich kann man sich fragen, wie erhalte ich Executor-Logs auf Spark?
Antworten
- Anweisungen zum Abrufen der Spark-Executor-Protokolle:
- Für Amabari -- 1) Gehen Sie zum Spark-Dienst und zur Registerkarte Configs: 2) Suchen Sie den Eintrag "Advanced spark-log4j-properties".
- Für Cloudera -- Set: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.
Wie finde ich meine Spark History-Server-URL?
Bsp. für die Verlaufsserver, sie wären normalerweise unter http://<. zugänglich Server- URL>:18080/api/v1 und für eine laufende Anwendung unter http://localhost:4040/api/v1. In der API wird eine Anwendung durch ihre Anwendungs-ID [app-id] referenziert.
