Apa yang akan Anda pelajari?
-
Rancang sistem terdistribusi yang mengelola “data besar” menggunakan Hadoop dan teknologi rekayasa data terkait.
-
Gunakan HDFS dan MapReduce untuk menyimpan dan menganalisis data dalam skala besar.
-
Gunakan Pig dan Spark untuk membuat skrip guna memproses data pada kluster Hadoop dengan cara yang lebih kompleks.
-
Analisis data relasional menggunakan Hive dan MySQL
-
Analisis data non-relasional menggunakan HBase, Cassandra, dan MongoDB
-
Kueri data secara interaktif dengan Bor, Phoenix, dan Presto
-
Pilih teknologi penyimpanan data yang sesuai untuk aplikasi Anda
-
Pahami bagaimana cluster Hadoop dikelola oleh YARN, Tez, Mesos, Zookeeper, Zeppelin, Hue, dan Oozie.
-
Publikasikan data ke cluster Hadoop Anda menggunakan Kafka, Sqoop, dan Flume
-
Konsumsi data streaming menggunakan Spark Streaming, Flink, dan Storm
Persyaratan
-
Anda akan memerlukan akses ke PC berbasis x86 yang menjalankan Windows 64-bit, MacOS, atau Linux dengan koneksi Internet dan setidaknya 8GB *gratis* (tidak total) RAM, jika Anda ingin berpartisipasi dalam aktivitas langsung dan latihan. Jika PC Anda tidak memenuhi persyaratan ini atau Anda hanya memiliki Mac berbasis M1, Anda masih dapat mengikuti kursus tanpa melakukan aktivitas langsung.
-
Beberapa aktivitas akan memerlukan beberapa pengalaman pemrograman sebelumnya, lebih disukai dengan Python atau Scala.
-
Keakraban dasar dengan baris perintah Linux akan sangat membantu.
Keterangan
Dunia Hadoop dan “Big Data” dapat mengintimidasi – ratusan teknologi berbeda dengan nama samar membentuk ekosistem Hadoop. Dengan materi Hadoop ini, Anda tidak hanya akan memahami apa sistem itu dan bagaimana mereka cocok bersama – tetapi Anda akan langsung mempelajari cara menggunakannya untuk memecahkan masalah bisnis nyata!
Pelajari dan kuasai teknologi rekayasa data paling populer dalam kursus ini, Kami akan melampaui Hadoop itu sendiri, dan menyelami semua jenis sistem terdistribusi yang mungkin perlu Anda integrasikan.
- Instal dan bekerja dengan instalasi Hadoop langsung di desktop Anda dengan Hortonworks (sekarang bagian dari Cloudera) dan Ambari UI
- Kelola data besar di kluster dengan HDFS dan MapReduce
- Tulis program untuk menganalisis data di Hadoop dengan Pig and Spark
- Simpan dan kueri data Anda dengan Sqoop , Hive , MySQL , HBase , Cassandra , MongoDB , Drill , Phoenix , dan Presto
- Rancang sistem menggunakan ekosistem Hadoop
- Pelajari cara klaster Anda dikelola dengan YARN , Mesos , Zookeeper , Oozie , Zeppelin , dan Hue
- Tangani data streaming secara real time dengan Kafka , Flume , Spark Streaming , Flink , dan Storm
Pengembang Spark dan Hadoop sangat dihargai di perusahaan dengan data dalam jumlah besar; ini adalah keterampilan yang sangat berharga untuk dipelajari.
Hampir setiap perusahaan besar tempat Anda mungkin ingin bekerja menggunakan Hadoop dalam beberapa cara, termasuk Amazon, Ebay, Facebook, Google, LinkedIn, IBM, Spotify, Twitter, dan Yahoo! Dan bukan hanya perusahaan teknologi yang membutuhkan Hadoop; bahkan New York Times menggunakan Hadoop untuk memproses gambar.
Anda akan menemukan berbagai kegiatan dalam kursus ini untuk orang-orang di setiap tingkatan. Jika Anda seorang manajer proyek yang hanya ingin mempelajari kata kunci, ada UI web untuk banyak aktivitas dalam kursus yang tidak memerlukan pengetahuan pemrograman. Jika Anda merasa nyaman dengan baris perintah, kami akan menunjukkan cara bekerja dengannya juga. Dan jika Anda seorang programmer, kami akan menantang Anda untuk menulis skrip nyata pada sistem Hadoop menggunakan Scala, Pig Latin, dan Python .
Anda akan mengahiri kursus ini dengan pemahaman yang mendalam dan nyata tentang Hadoop dan sistem terdistribusi yang terkait, dan Anda dapat menerapkan Hadoop ke masalah dunia nyata.
Untuk siapa kursus ini:
- Insinyur dan pemrogram perangkat lunak yang ingin memahami ekosistem Hadoop yang lebih besar, dan menggunakannya untuk menyimpan, menganalisis, dan menjual “data besar” dalam skala besar.
- Manajer proyek, program, atau produk yang ingin memahami istilah dan arsitektur tingkat tinggi Hadoop.
- Analis data dan administrator basis data yang ingin tahu tentang Hadoop dan bagaimana kaitannya dengan pekerjaan mereka.
- Arsitek sistem yang perlu memahami komponen yang tersedia di ekosistem Hadoop, dan bagaimana mereka cocok bersama.
