Basiert s3 auf HDFS?
Basiert s3 auf HDFS?
Anonim

S3 ist eigentlich ein unendlicher Speicher in der Cloud, aber HDFS ist nicht. HDFS wird auf physischen Maschinen gehostet, sodass Sie dort jedes Programm ausführen können. Sie können nichts ausführen auf S3 als nur Object Store und nicht FS.

Ist s3 dann ein verteiltes Dateisystem?

S3 ist kein verteiltes Dateisystem. Es ist ein binärer Objektspeicher, der Daten in Schlüssel-Wert-Paaren speichert. Es ist im Wesentlichen eine Art NoSQL-Datenbank. Jeder Bucket ist eine neue „Datenbank“, wobei Schlüssel Ihr „Ordnerpfad“und Werte die binären Objekte sind (Dateien).

Man kann sich auch fragen, basiert AWS auf Hadoop? Hadoop ist ein Framework, das die Verarbeitung großer Datensätze auf mehreren Computern unterstützt. Es beinhaltet Map/Reduce (parallele Verarbeitung) und HDFS (verteiltes Dateisystem). AWS ist ein Data Warehouse gebaut zusätzlich zu einer proprietären Technologie, die ursprünglich von ParAccel entwickelt wurde.

Wie übertrage ich außerdem Dateien von s3 auf HDFS?

Antworten. Es gibt kein direktes Möglichkeit, Dateien von S3 auf HDFS zu kopieren ohne durch lokales zu gehen Dateien. Sie können jedoch die tSystem-Komponente in einem Standard-Job verwenden, um die native Hadoop Befehl, den Sie normalerweise verwenden, um Dateien kopieren, zum Beispiel, s3-Abst-Kp.

Was ist die s3-Datenbank?

Amazonas S3 oder Amazon Simple Storage Service ist ein von Amazon Web Services (AWS) angebotener Service, der Objektspeicher über eine Webservice-Schnittstelle bereitstellt. Amazonas S3 verwendet dieselbe skalierbare Speicherinfrastruktur, die Amazon.com für den Betrieb seines globalen E-Commerce-Netzwerks verwendet.

Beliebt nach Thema