Inhaltsverzeichnis:

Wie plane ich einen Hive-Job in oozie?
Wie plane ich einen Hive-Job in oozie?

Video: Wie plane ich einen Hive-Job in oozie?

Video: Wie plane ich einen Hive-Job in oozie?
Video: Big Data Job , Resume | Big Data Interview Tips And Tricks | Big Data Job с | OnlineLearningCen... 2024, November
Anonim

Zu Hive-Job planen mit Oozie , du musst a. schreiben Bienenstock -Handlung.

hql) drin.

  1. Erstellen Sie ein Verzeichnis in HDFS, indem Sie den folgenden Befehl ausführen.
  2. hadoop fs -mkdir -p /user/ oozie /Arbeitsabläufe/
  3. Arbeitsablauf setzen. xml, Bienenstock Skript (create_table. hql) und Bienenstock -Seite? ˅. xml in dem in Schritt 2 erstellten Verzeichnis. Sie können den folgenden Befehl verwenden.

Nur so, wie führe ich Hive-Skript in Oozie aus?

Führen Sie Hive-Jobs mit Oozie aus

  1. Geben Sie die Hive-Site an. xml im Parameter job-xml.
  2. Geben Sie im Parameter script den Namen des Skripts an (z. B. script.q), das die Hive-Abfrage enthält.
  3. Fügen Sie optional Eigenschaften hinzu, die vom Oozie Launcher-Job verwendet werden. Fügen Sie das Präfix oozie hinzu. Launcher zu den Eigenschaftsnamen.

Wie führe ich außerdem den Oozie-Workflow aus? Ausführen von Oozie Workflow über die Befehlszeile

  1. Melden Sie sich bei der Webkonsole an.
  2. Kopieren Sie oozie-Beispiele in Ihr Home-Verzeichnis in der Webkonsole: cp /usr/hdp/current/oozie-client/doc/oozie-examples. Teer. gz.
  3. Extrahieren Sie Dateien aus tar tar -zxvf oozie-examples.tar.gz.
  4. Kopieren Sie das Beispielverzeichnis nach HDFS hadoop fs -copyFromLocal example.

Wie plane ich diesbezüglich einen Hadoop-Job?

Wie man Jobs planen in hadoop - Quora. Der einfachste Weg ist, Ihren Code in ein Shell-Skript zu packen und zeitlicher Ablauf es als cron Job auf dem Edge-Knoten (der Knoten, an dem Sie normalerweise Ihre Arbeitsplätze ). Aber normalerweise packt man den Code in ein Skript und führt es als a aus Job ist schwer zu debuggen. testen und pflegen.

Was ist der Oozie-Workflow?

Oozie ist ein Arbeitsablauf Scheduler-System zur Verwaltung von Apache Hadoop-Jobs. Oozie-Workflow Jobs sind gerichtete azyklische Graphen (DAGs) von Aktionen. Oozie Koordinator-Jobs sind wiederkehrend Oozie-Workflow Jobs, die durch Zeit (Häufigkeit) und Datenverfügbarkeit ausgelöst werden. Oozie ist ein skalierbares, zuverlässiges und erweiterbares System.

Empfohlen: