Inhaltsverzeichnis:

Was sind die wichtigsten Konfigurationsparameter, die der Benutzer angeben muss, um den MapReduce-Job auszuführen?
Was sind die wichtigsten Konfigurationsparameter, die der Benutzer angeben muss, um den MapReduce-Job auszuführen?

Video: Was sind die wichtigsten Konfigurationsparameter, die der Benutzer angeben muss, um den MapReduce-Job auszuführen?

Video: Was sind die wichtigsten Konfigurationsparameter, die der Benutzer angeben muss, um den MapReduce-Job auszuführen?
Video: 2019 - Open Source Projekt bpmn.ai 2024, November
Anonim

Die wichtigsten Konfigurationsparameter, die Benutzer im „MapReduce“-Framework angeben müssen, sind:

  • Arbeitsplätze Eingabepositionen im verteilten Dateisystem.
  • Arbeitsplätze Ausgabeort im verteilten Dateisystem.
  • Eingabeformat der Daten.
  • Ausgabeformat der Daten.
  • Klasse, die die Kartenfunktion enthält.
  • Klasse, die die Reduce-Funktion enthält.

Was sind hier die wichtigsten Konfigurationsparameter in einem MapReduce-Programm?

Die wichtigsten Konfigurationsparameter im „MapReduce“-Framework sind:

  • Eingabeposition von Jobs im verteilten Dateisystem.
  • Ausgabeposition von Jobs im verteilten Dateisystem.
  • Das Eingabeformat der Daten.
  • Das Ausgabeformat der Daten.
  • Die Klasse, die die Kartenfunktion enthält.
  • Die Klasse, die die Reduce-Funktion enthält.

Man kann sich auch fragen, was sind die Parameter von Mappern und Reducern? Die vier Parameter für Mapper sind:

  • LongWritable (Eingabe)
  • Text Eingabe)
  • Text (Zwischenausgabe)
  • IntWritable (Zwischenausgabe)

Die Frage ist auch, was sind die Hauptkomponenten des MapReduce-Jobs?

  • Haupttreiberklasse, die Jobkonfigurationsparameter bereitstellt.
  • Mapper-Klasse, die org erweitern muss. Apache. hadoop. Karte verkleinern. Mapper-Klasse und stellen eine Implementierung für die map()-Methode bereit.
  • Reduzierklasse, die org erweitern soll. Apache. hadoop. Karte verkleinern. Reduzierklasse.

Was ist Partitionierer und wie hilft er beim MapReduce-Auftragsprozess?

Partitionierer in MapReduce job Die Ausführung steuert die Aufteilung der Schlüssel der Zwischenkartenausgaben. Mit dem Hilfe der Hash-Funktion leitet der Schlüssel (oder eine Untermenge des Schlüssels) die Partition . Datensätze, die denselben Schlüsselwert haben, gehen in denselben Partition (innerhalb jedes Mappers).

Empfohlen: