BIG DATA ANALYTICS - 3 DAYS

DESKRIPSI PELATIHAN 

Pelatihan Big Data Analytics adalah program pendidikan yang dirancang untuk membekali peserta dengan pengetahuan dan keterampilan dalam mengelola, menganalisis, dan menginterpretasikan data dalam jumlah besar (big data) untuk menghasilkan wawasan bisnis yang berharga.Program ini biasanya mencakup konsep dasar big data, teknologi terkait seperti Hadoop dan Spark, serta teknik analisis data seperti machine learning dan econometrics

TUJUAN PELATIHAN 

• Memahami konsep, karakteristik, dan tantangan Big Data.
• Mengenal ekosistem teknologi Big Data seperti Hadoop, Spark, dan NoSQL.
• Mampu mengolah dan menganalisis data besar menggunakan tools open-source dan bahasa Python.
• Menyusun pipeline data untuk analitik dan visualisasi Big Data secara efektif.

METODE PELATIHAN 

• 30% teori, 70% praktik dan proyek
• Latihan langsung dengan tools big data
• Studi kasus berdasarkan data nyata

TOOLS 

• Hadoop (Cloudera/ambari/hortonworks)
• Apache Spark (PySpark)
• MongoDB / Cassandra
• Python (Pandas, PySpark, Matplotlib)
• Power BI / Tableau / Kibana
• Google Colab / Jupyter Notebook

MATERI 

Hari ke-1 : Konsep Dasar dan Teknologi Big Data

1. Pengenalan Big Data

• Definisi dan karakteristik Big Data (5V: Volume, Variety, Velocity, Veracity, Value)
• Perbedaan Big Data dengan Data Konvensional
• Studi kasus implementasi Big Data (e-commerce, fintech, kesehatan)

2. Arsitektur Big Data

• Komponen utama: data source, ingestion, storage, processing, analysis
• Batch vs Real-Time Processing
• Data Lake vs Data Warehouse

3. Teknologi Hadoop

• Komponen Hadoop: HDFS, MapReduce, YARN
• Instalasi dan workflow dasar Hadoop
• Hands-on: Menyimpan dan mengelola data di HDFS

4. NoSQL Database

• Pengenalan NoSQL: Key-Value, Columnar, Document, Graph
• MongoDB, Cassandra, HBase
• Hands-on: CRUD data di MongoDB

Hari ke-2 : Data Processing dan Analitik dengan Spark and Python

5. Apache Spark untuk Big Data Processing

• Spark architecture dan RDD/DataFrame
• Spark vs Hadoop MapReduce
• Hands-on: Proses data besar dengan PySpark

6. Integrasi Python dalam Big Data

• Pustaka Python untuk Big Data: PySpark, Dask, Pandas
• Teknik preprocessing data besar
• Feature engineering untuk analitik

7. Data Pipeline dan ETL

• Konsep ETL (Extract, Transform, Load)
• Apache Kafka, Airflow (pengantar)
• Hands-on: Pipeline sederhana dengan Python

8. Analisis Statistik dan Machine Learning pada Big Data

• Exploratory Data Analysis (EDA)
• Clustering, Classification (menggunakan PySpark MLlib)
• Model evaluasi dan tuning

Hari ke-3 : Visualisasi, Keamanan dan Studi Kasus

9. Visualisasi Big Data

• Tools visualisasi: Power BI, Tableau, Kibana
• Integrasi dengan data besar
• Hands-on: Visualisasi dataset besar dengan Python (Matplotlib, Seaborn)

10. Data Governance dan Keamanan

• Privasi dan etika dalam Big Data
• GDPR dan peraturan lokal
• Enkripsi, masking, dan access control

11. Big Data in Cloud

• Google BigQuery, AWS Redshift, Azure Data Lake
• Cloud-based Big Data pipeline (pengantar)

12. Final Project & Studi Kasus

• Analisis dataset besar dari sektor publik atau industri
• Perancangan pipeline, analisis, visualisasi
• Presentasi hasil proyek

Trainer : Spectracentre Trainer Team