Data Science & AI

Auto Pre-Processing Data Tools

Otomatisasi Alur Kerja Pra-Pemrosesan Data untuk Machine Learning

Proyek Pribadi

4 Bulan • 2025

in-progress

Project Overview

Sebuah tools berbasis web yang dirancang untuk mengotomatiskan dan menyederhanakan alur pra-pemrosesan data untuk kebutuhan machine learning. Pengguna dapat mengunggah dataset dan menerapkan berbagai teknik pra-pemrosesan melalui antarmuka yang interaktif untuk menyiapkan data mentah agar siap digunakan dalam model machine learning.

Proyek ini dikembangkan untuk mengatasi salah satu bagian yang paling memakan waktu dalam machine learning, yaitu persiapan data. Tools ini menyediakan antarmuka tanpa kode (no-code) yang memandu pengguna melalui setiap langkah penting, mulai dari membersihkan data (menangani nilai yang hilang, outlier) hingga transformasi (normalisasi, encoding). Tujuannya adalah untuk memberdayakan data scientist dan analis agar dapat menyiapkan dataset berkualitas tinggi dengan lebih cepat dan efisien.

Technologies Used

SvelteKit

Go Fiber

Python

Pandas

Scikit-learn

Challenges

Mengelola dataset berukuran besar secara efisien di lingkungan web tanpa menyebabkan browser hang.
Mengintegrasikan backend Python untuk pemrosesan data dengan frontend SvelteKit secara real-time.
Menyediakan antarmuka yang intuitif bagi pengguna dengan berbagai tingkat keahlian teknis.

Solutions

Memproses data secara asynchronous di backend, sementara frontend hanya menampilkan status atau hasil proses.
Menggunakan WebSocket untuk komunikasi real-time antara frontend dan backend selama proses berjalan.
Merancang alur kerja berbasis wizard (langkah-demi-langkah) di SvelteKit untuk memandu pengguna melalui setiap tahap pra-pemrosesan.