Inhaltsverzeichnis:

Woher weiß ich, ob Spark Linux installiert ist?
Woher weiß ich, ob Spark Linux installiert ist?

Video: Woher weiß ich, ob Spark Linux installiert ist?

Video: Woher weiß ich, ob Spark Linux installiert ist?
Video: How bis Install Scala am Ubuntu | Apache Spark Install auf Ubuntu | Online Learning Center 2024, November
Anonim

2 Antworten

  1. Offen Funke Shell Terminal und geben Sie den Befehl ein.
  2. sc.version Oder Funke -submit --version.
  3. Der einfachste Weg ist, einfach zu starten “ Funke -shell“in der Befehlszeile. Es wird angezeigt.
  4. aktuell aktive Version von Funke .

Zu wissen ist auch, wie erkenne ich, ob Spark Ubuntu installiert ist?

Installieren von Spark unter Ubuntu

  1. Laden Sie hier die neueste Version von Spark herunter.
  2. Entpacken Sie das Archiv.
  3. Verschieben Sie den resultierenden Ordner und erstellen Sie einen symbolischen Link, damit Sie mehrere Versionen von Spark installieren können.
  4. Testen Sie die Spark-Shell.
  5. Vielleicht ist Scala nicht Ihr Ding und Sie würden lieber Python verwenden.

Zweitens, wo ist Spark auf EMR installiert? Ab emr -4,0. 0, alle Anwendungen an EMR sind in /usr/lib. Funke ist in /usr/lib/ Funke.

Wie baut man also einen Funken auf?

Schritte zur Installation von Spark

  1. Schritt 1: Stellen Sie sicher, dass Java installiert ist.
  2. Schritt 2: Stellen Sie sicher, dass Scala installiert ist.
  3. Schritt 3: Laden Sie Scala herunter.
  4. Schritt 4: Installieren Sie Scala.
  5. Schritt 5: Herunterladen von Apache Spark.
  6. Schritt 6: Installieren von Spark.
  7. Schritt 7: Überprüfen Sie die Installation der Spark-Anwendung auf Ihrem System.

Muss ich Scala für Spark installieren?

Du wirst brauchen ein kompatibles verwenden Scala Version (2.10. x). Java ist ein Muss für Funke + viele andere transitive Abhängigkeiten ( scala Compiler ist nur eine Bibliothek für JVM). PySpark verbindet sich einfach remote (per Socket) mit der JVM mit Py4J (Python-Java-Interoperation).

Empfohlen: