Unggah dataset ke Hugging Face agar pratinjau tepat

Untuk mengunggah dataset ke Hugging Face Hub, buat repositori dataset, siapkan berkas dalam format yang didukung, susun split, lalu kirim melalui web, hf upload, atau push_to_hub. Format dan susunan berkas memengaruhi apakah Dataset Viewer dapat menampilkan pratinjau; panduan unggah Hugging Face menjelaskan pilihan format serta langkah memeriksa tampilan data setelah unggah.

Pilih web bila berkas sudah siap dan mudah diunggah satu per satu, hf upload bila data berada dalam folder lokal atau transfernya panjang, dan push_to_hub bila data sudah diproses dengan pustaka Datasets di Python. Apa pun jalurnya, repositori perlu berisi data yang dapat dibaca, pembagian train dan validation yang sesuai, kartu dataset, serta pengaturan akses yang tepat. Berkas yang muncul di Files and versions menunjukkan bahwa transfer selesai, tetapi belum memastikan pratinjau dan pemuatan ulang sesuai harapan.

Siapkan format dan split sebelum transfer

Berkas train.csv dan validation.csv tersusun sebagai split terpisah dalam repositori dataset Hugging Face Hub.

Untuk data tabular, Parquet umumnya menjadi pilihan yang baik karena kompresi dan dukungan tipe datanya. CSV lebih mudah disiapkan untuk data sederhana, sedangkan JSON Lines cocok ketika setiap contoh memiliki struktur bertingkat. Untuk gambar atau audio dalam skala besar yang akan dibaca secara streaming, WebDataset dapat mengurangi beban mengakses banyak berkas terpisah. Pilihan ini perlu mengikuti bentuk data dan cara pemakai akan membacanya, bukan hanya format ekspor yang tersedia di aplikasi asal.

Jika data memang telah dibagi untuk pelatihan dan validasi, contoh bersyarat yang sederhana ialah menaruh train.csv dan validation.csv di akar repositori bersama README.md. Aturan nama berkas dan split menjelaskan bahwa Hub juga mengenali direktori bernama train dan validation serta pola nama berkas lain yang memuat nama split. Penamaan tersebut mengelompokkan berkas yang sudah dipisahkan; Hub tidak memilih sendiri baris mana yang seharusnya masuk ke validasi.

Bila nama berkas tidak mengikuti pola yang dikenali, pemilik dapat memetakan berkas ke split melalui metadata YAML di bagian atas README.md. Periksa juga apakah kolom pada berkas dalam split yang sama konsisten dan apakah tiap contoh masuk ke pembagian yang dimaksud. Susunan yang rapi membantu Dataset Viewer menampilkan pilihan split dan membantu pemakai memuat data kembali tanpa harus menebak letak berkas.

Unggah lewat web dan lengkapi kartu dataset

Setelah masuk ke akun Hugging Face, buka profil dan pilih New Dataset. Tentukan nama repositori serta visibilitas public atau private, lalu buka Files and versions dan gunakan Add file untuk mengunggah berkas. Untuk contoh train.csv dan validation.csv, unggah keduanya ke lokasi yang sesuai dengan susunan split yang telah dipilih. Jalur web paling praktis ketika berkas sudah selesai disiapkan dan jumlahnya masih mudah dikelola melalui antarmuka.

Di repositori yang sama, pilih Create Dataset Card untuk membuat README.md. Kartu minimum yang berguna menjelaskan asal data, arti kolom atau label, tujuan pembagian train dan validation, penggunaan yang dimaksud, serta batasan yang perlu diketahui pemakai. Isi metadata bahasa, lisensi, dan kategori tugas bila memang berlaku. Lisensi harus mencerminkan hak distribusi data yang dimiliki; kolom metadata yang terisi tidak dengan sendirinya memberi izin untuk membagikan data pihak lain.

Setelah berkas masuk, lihat pratinjau dan pilihan split pada halaman dataset. Bila daftar berkas sudah benar tetapi viewer menampilkan pembagian yang keliru, periksa kembali nama berkas, nama direktori, dan pemetaan dalam README.md. Bila data tidak muncul sebagai baris yang dapat ditinjau, periksa format serta isi berkas sebelum mengunggah versi perbaikannya. Pemeriksaan ini menunjukkan hasil yang akan ditemui pemakai, bukan hanya keberhasilan unggah dari sisi pengirim.

Gunakan hf upload untuk berkas lokal dan folder besar

Unggahan folder dataset ke Hugging Face Hub berlanjut setelah terputus, sementara berkas yang sudah selesai tetap tersimpan.

Pasang huggingface_hub dan autentikasi di terminal dengan hf auth login. Dalam contoh bersyarat untuk repositori yang sudah dibuat, perintah hf upload namaakun/contoh-dataset ./train.csv train.csv --repo-type=dataset mengirim satu berkas ke akar repositori dataset. Bagian train.csv setelah jalur lokal menyatakan lokasi tujuan di repositori. Jika tidak diberikan, berkas diunggah ke akar repositori; karena itu, lokasi tujuan perlu dipilih sesuai struktur split yang direncanakan.

Untuk mengirim seluruh folder lokal ke direktori data, gunakan hf upload namaakun/contoh-dataset ./data data --repo-type=dataset. Tujuan pada cabang tertentu juga dapat ditulis sebagai URI, misalnya hf upload hf://datasets/namaakun/contoh-dataset@nama-cabang/data/train.csv ./train.csv; bentuk URI ini sudah memuat jenis repositori dan revisi sehingga tidak perlu digabung dengan opsi --repo-type atau --revision. Petunjuk hf upload menjelaskan kedua bentuk tujuan tersebut dan cara unggahan folder besar dilanjutkan setelah terputus.

Untuk folder besar, proses unggah dapat dibagi ke beberapa commit. Jika koneksi atau proses terhenti, jalankan kembali perintah yang sama dengan sumber dan tujuan yang sama; berkas yang sudah terkirim akan dilewati. Ini membantu ketika transfer berlangsung lama, tetapi tidak memperbaiki CSV yang rusak atau penamaan split yang keliru. Mulai dengan sebagian kecil data masuk akal bila struktur repositori masih berubah, lalu kirim sisanya setelah susunannya sesuai.

Gunakan push_to_hub bila data sudah diproses di Python

Jalur push_to_hub sesuai ketika train dan validation sudah menjadi bagian dari alur kerja pustaka Datasets. Sebagai contoh bersyarat, muat berkas lokal dengan from datasets import load_dataset, lalu jalankan data = load_dataset("csv", data_files={"train": "train.csv", "validation": "validation.csv"}) dan data.push_to_hub("namaakun/contoh-dataset") sebagai pernyataan Python terpisah. Akun yang dipakai harus memiliki izin menulis ke repositori tujuan.

Objek DatasetDict pada contoh itu mempertahankan nama split saat diunggah, sementara data yang dikirim disimpan sebagai Parquet. Jalur ini berguna bila pembersihan data, pemilihan kolom, atau pembagian split telah dilakukan di Python: objek hasil pemrosesan menjadi sumber unggahan. Jika push_to_hub membuat repositori baru, private=True dapat digunakan untuk menjadikannya private; parameter tersebut tidak mengubah visibilitas repositori yang sudah ada.

Sesudah unggah, pemanggilan load_dataset("namaakun/contoh-dataset") memungkinkan pemeriksaan atas data yang dibaca dari Hub. Bandingkan nama split, kolom, dan contoh isinya dengan data yang hendak dibagikan. Untuk repositori private, pemuatan memerlukan autentikasi dengan hak akses yang sesuai. Langkah ini berguna karena keberhasilan memproses objek lokal tidak otomatis menunjukkan bahwa repositori dapat dimuat sebagaimana dimaksud.

Tentukan akses sesuai cara data akan dibagikan

Repositori public dapat dilihat umum, sedangkan repositori private membatasi akses ke pemilik dan anggota organisasi yang berwenang. Pilih private jika berkas belum boleh dibagikan. Opsi gated melayani kebutuhan lain: pemilik mengaktifkan permintaan akses di pengaturan dataset, lalu calon pemakai menyampaikan permintaan sebelum mengakses berkas. Persetujuan dapat berlangsung otomatis atau diperiksa secara manual; pilihan ini tetap menuntut pemilik menilai apakah datanya memang boleh disalurkan.

Pratinjau untuk dataset private memiliki ketentuan akun tersendiri di Hub, sehingga akses ke berkas tidak selalu berarti fitur peninjauan tersedia pada akun tersebut. Jika viewer kosong, telusuri penyebab yang sesuai: hak akses, format, susunan split, atau konfigurasi berkas di README.md. Jika viewer benar tetapi pemuatan dari Python gagal, periksa nama repositori dan autentikasi yang digunakan. Dengan begitu, hasil unggah dinilai dari data yang benar-benar dapat ditinjau atau dimuat sesuai aksesnya.