Pre Processing

pre-processing data, yang merupakan tahap penting dalam analisis data dan machine learning. Pre-processing data melibatkan serangkaian teknik untuk mempersiapkan data mentah agar siap digunakan dalam analisis lebih lanjut atau model machine learning.

1. Data Cleaning

Data cleaning adalah proses mengidentifikasi dan memperbaiki kesalahan atau ketidakakuratan dalam data. Langkah ini penting untuk memastikan bahwa data yang akan digunakan akurat dan bebas dari anomali yang bisa mengganggu analisis. Beberapa aktivitas dalam data cleaning meliputi:

• Mengatasi Missing Values: Mengisi nilai yang hilang dengan metode seperti mean, median, atau mode, atau menghapus baris/kolom yang memiliki banyak nilai hilang.
• Menghapus Duplikasi: Mengidentifikasi dan menghapus data yang duplikat untuk menghindari bias.
• Mengoreksi Kesalahan: Memperbaiki kesalahan entri data seperti ejaan yang salah, format yang tidak konsisten, dan nilai yang berada di luar batas yang diharapkan.
• Normalisasi: Menyelaraskan data agar konsisten, misalnya memastikan semua tanggal berada dalam format yang sama.

contoh data cleaning :

Gambar data cleaning dengan mengecek missing value

2. Data Collection

Data collection adalah proses mengumpulkan data yang relevan untuk dianalisis. Data bisa berasal dari berbagai sumber, dan teknik pengumpulan data dapat bervariasi tergantung pada tujuan analisis. Beberapa metode umum untuk mengumpulkan data meliputi:

• Survey dan Kuesioner: Mengumpulkan data langsung dari responden.
• Pengamatan: Mengumpulkan data melalui observasi langsung.
• Sumber Sekunder: Menggunakan data yang sudah ada dari sumber lain seperti database publik, laporan, atau penelitian sebelumnya.
• Web Scraping: Mengumpulkan data dari situs web menggunakan teknik pemrograman untuk mengekstrak informasi.

contoh data collection :

Gambar Data collection melalui link json

3. Data Transformation

Data transformation adalah proses mengubah data menjadi format yang lebih sesuai untuk analisis. Ini bisa melibatkan berbagai teknik untuk mengubah dan memanipulasi data agar lebih berguna dan siap digunakan. Beberapa aktivitas dalam data transformation meliputi:

• Normalisasi: Mengubah skala data untuk membuatnya seragam, misalnya menskalakan data antara 0 dan 1.
• One-Hot Encoding: Mengubah data kategori menjadi format biner untuk digunakan dalam model machine learning.
• Agregasi Data: Menggabungkan data dari berbagai sumber atau merangkum data menjadi bentuk yang lebih ringkas.
• Feature Engineering: Membuat fitur baru dari data mentah yang ada untuk meningkatkan performa model machine learning.

contoh transformasi data :

Gambar transformasi kolom prodi

Gambar Output dari transformasi kolom prodi

4. Data Reduction

Data reduction adalah proses mengurangi jumlah data untuk meningkatkan efisiensi komputasi dan mengurangi kompleksitas analisis tanpa mengorbankan informasi penting. Teknik ini sangat berguna ketika berhadapan dengan dataset yang sangat besar. Beberapa metode data reduction meliputi:

• Principal Component Analysis (PCA): Teknik statistik yang mengubah data ke dalam set fitur yang lebih kecil dengan tetap mempertahankan variasi maksimum.
• Sampling: Memilih subset dari data yang representatif untuk mengurangi ukuran dataset.
• Feature Selection: Memilih fitur yang paling relevan dan menghapus fitur yang tidak penting atau redundan.
• Dimensionality Reduction: Mengurangi jumlah variabel acak dalam dataset dengan teknik seperti PCA atau t-SNE.

Gambar dari Data reduction

Dengan memahami dan menerapkan langkah-langkah ini, diharapkan dapat memastikan bahwa data tersebut siap untuk dianalisis dan digunakan dalam model machine learning dengan cara yang efisien dan efektif. Pre-processing data adalah langkah yang krusial dan seringkali memakan waktu, tetapi hasilnya sangat menentukan kualitas analisis dan prediksi yang akan dilakukan.