Inhaltsverzeichnis:

Wie starte ich meinen Spark History-Server?
Wie starte ich meinen Spark History-Server?

Video: Wie starte ich meinen Spark History-Server?

Video: Wie starte ich meinen Spark History-Server?
Video: Apache Spark Tutorial: Apache Spark for Beginners | Apache Spark |@OnlineLearningCenterIndia 2024, Kann
Anonim

So aktivieren Sie den Spark-Verlaufsserver:

  1. Erstellen Sie ein Verzeichnis für Ereignisprotokolle im DSEFS-Dateisystem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wenn die Ereignisprotokollierung aktiviert ist, werden standardmäßig alle Protokolle gespeichert, wodurch der Speicher im Laufe der Zeit anwächst.

Wie richte ich außerdem einen Spark History-Server ein?

So aktivieren Sie den Spark-Verlaufsserver:

  1. Erstellen Sie ein Verzeichnis für Ereignisprotokolle im DSEFS-Dateisystem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wenn die Ereignisprotokollierung aktiviert ist, werden standardmäßig alle Protokolle gespeichert, wodurch der Speicher im Laufe der Zeit anwächst.

Wie finde ich die URL meines Spark History-Servers? Bsp. für die Verlaufsserver , sie wären normalerweise unter https://<. zugänglich Server - URL >:18080/api/v1 und für eine laufende Anwendung unter https://localhost:4040/api/v1. In der API wird eine Anwendung durch ihre Anwendungs-ID [app-id] referenziert.

Was ist der Spark History-Server?

Die Spark-History-Server ist ein Überwachungstool, das Informationen über abgeschlossene Funke Anwendungen. Diese Information ist aus den Daten gezogen, die Anwendungen standardmäßig in ein Verzeichnis im Hadoop Distributed File System (HDFS) schreiben.

Was ist Sparkui?

Auf der Spark-Web-UI können Sie eine Liste von Scheduler-Phasen und -Tasks, Umgebungsinformationen, Informationen zu den ausgeführten Executors und mehr anzeigen. Sehen Sie sich diese 30-minütige Demo an, um mehr über Folgendes zu erfahren: Komponenten und Lebenszyklus eines Spark-Programms. So wird Ihre Spark-Anwendung in einem Hadoop-Cluster ausgeführt.

Empfohlen: