[Hadoop] Hadoop叢集系統

[WarrenLo]

製作Docker Image

建立

docker-compose -f hdp311.yml up -d

檢視

docker-compse -f hdp311.yml ps

啟動

docker-compose -f hdp311.yml start

關機

docker-compose -f hdp311.yml stop

移除

docker-compose -f hdp311.yml down

---

[加映場] Hadoop vs Spark

如果Spark要離開Hadoop，Spark的系統要改成

• HDFS --> Amazon S3
• YARN --> Standalone
• MapReduce --> RDD (Resilient Distributed Datasets)