Deepgram atau Whisper: akurasi berubah pada audio nyata

Deepgram dan Whisper dapat bertukar posisi dalam akurasi ketika cara pemrosesan audio berubah. Untuk panggilan yang perlu ditranskripsikan saat berlangsung, Deepgram layak menjadi kandidat awal; untuk rekaman yang sudah selesai, Whisper tetap pembanding kuat. Pilihan produksi bergantung pada hasil untuk aksen, kebisingan, nama lokal, dan campuran bahasa yang benar-benar muncul dalam layanan Anda.

Perbandingan itu perlu menyebut sistem yang diuji. Deepgram Nova-3 melalui API, OpenAI whisper-1 melalui API, dan Whisper yang dijalankan sendiri memiliki jalur pemrosesan serta biaya berbeda. Hasil dari satu jalur tidak otomatis berlaku untuk jalur lain, terutama ketika transkripsi berkas utuh dibandingkan dengan keluaran langsung.

Kapan urutan akurasi berubah?

Word error rate (WER) menghitung kata yang diganti, dihilangkan, atau ditambahkan, kemudian membaginya dengan jumlah kata dalam transkrip acuan. Semakin rendah nilainya, semakin sedikit kesalahan menurut aturan penghitungan itu. Urutan dua sistem baru bermakna jika rekaman acuan, mode pemrosesan, dan normalisasi teksnya sebanding.

Pada pengujian Voice Writer yang terakhir diperbarui pada Oktober 2025, WER rata-rata untuk berkas utuh ialah 7,2% pada Whisper Large dan 7,6% pada Deepgram; untuk aliran langsung, Deepgram mencatat 9,7% dan Whisper 12,4%. Urutan keduanya berbalik pada sistem dan sampel tersebut. Rekamannya mencakup ucapan bahasa Inggris yang bersih, bising, beraksen, dan memakai kosakata teknis, sehingga hasil itu belum menetapkan pemenang untuk percakapan berbahasa Indonesia.

WER juga bergantung pada cara teks diperlakukan sebelum dihitung. Menghapus tanda baca, menyamakan huruf besar, atau menyetarakan angka yang ditulis sebagai kata dapat menurunkan skor kesalahan tanpa memperbaiki transkrip yang akan dilihat pengguna. Sebaliknya, satu nomor pesanan yang keliru bisa lebih merugikan layanan pelanggan daripada beberapa kata pengisi yang hilang. Karena itu, laporkan WER yang dinormalisasi dan periksa nama serta angka secara terpisah.

Bahasa Indonesia dan campur kode memerlukan kelompok uji berbeda

Daftar bahasa Deepgram mencantumkan bahasa Indonesia dengan kode id untuk Nova-3, tetapi daftar bahasa pada opsi multi untuk pergantian bahasa otomatis tidak mencantumkan bahasa Indonesia. Dukungan untuk rekaman yang dominan berbahasa Indonesia karena itu tidak cukup untuk memperkirakan hasil panggilan yang kerap beralih ke bahasa Inggris. Keduanya perlu dinilai sebagai kondisi yang berbeda.

Kelompokkan sampel menurut bahasa dominan, campur kode Indonesia–Inggris, aksen penutur yang memang dilayani, kebisingan, jarak mikrofon, dan ucapan yang saling bertumpuk. Masukkan nama orang, tempat, merek, singkatan, serta istilah produk yang sering muncul. Sebuah mesin dapat memperoleh WER rata-rata baik sambil berulang kali salah menulis nama lokal; kesalahan semacam itu akan tersembunyi bila seluruh rekaman digabung menjadi satu angka.

Catat pula petunjuk bahasa dan kosakata yang diberikan kepada setiap sistem. Pengaturan tersebut dapat menjadi bagian sah dari konfigurasi produksi, tetapi hasilnya harus diberi label sebagai hasil konfigurasi itu. Dengan demikian, selisih akurasi tidak keliru dianggap semata-mata sebagai perbedaan model dasar.

Latensi berkas utuh berbeda dari latensi percakapan

Untuk arsip rapat atau bahan media, ukuran kecepatan yang relevan ialah waktu sejak berkas diserahkan sampai transkrip akhir tersedia. Dalam panggilan langsung, ukur jeda sampai teks pertama muncul dan jeda sampai segmen itu final. Teks sementara yang cepat namun sering direvisi dapat mengganggu takarir atau proses lain yang segera memakai hasil transkripsi.

Panduan transkripsi OpenAI membedakan streaming keluaran untuk berkas yang sudah direkam dari transkripsi audio yang masih berlangsung; pada jalur berkas tersebut, whisper-1 tidak mendukung streaming keluaran. Batasan itu berlaku untuk jalur API tersebut. Whisper yang dijalankan sendiri dapat dipakai dalam sistem yang memotong audio dan mengirim hasil bertahap, tetapi waktu tunggu serta kesalahan di batas potongan menjadi bagian dari kinerja sistem itu.

Uji sesi langsung dengan audio yang dikirim mengikuti waktu percakapan sebenarnya. Mengunggah seluruh rekaman sekaligus mengukur pemrosesan berkas, bukan lamanya pengguna menunggu kata muncul. Sertakan jeda pendek, interupsi antarpembicara, dan bagian dengan suara bertumpuk; keadaan itulah yang dapat mengubah waktu menuju hasil final sekaligus kualitas teks.

Tarif per menit perlu diubah menjadi biaya per jam yang sebanding

Pada paket bayar sesuai pemakaian, daftar harga Deepgram mencantumkan Nova-3 monolingual untuk rekaman sebesar US$0,0043 per menit dan tarif streaming promosi sebesar US$0,0048 per menit. Perkalian sederhana menghasilkan sekitar US$0,258 dan US$0,288 per jam audio. Tarif streaming itu bersifat promosi, sehingga perhitungan anggaran perlu memakai tarif yang berlaku ketika layanan dijalankan.

Sebagai pembanding untuk API OpenAI, halaman model whisper-1 mencantumkan US$0,006 per menit, atau US$0,36 per jam audio. Angka tersebut adalah tarif API, bukan biaya menjalankan Whisper pada perangkat atau server sendiri. Untuk instalasi sendiri, perhitungan perlu memasukkan komputasi, kapasitas saat beban puncak, penyimpanan, dan pemeliharaan.

Tarif dasar juga belum menyatakan biaya transkrip yang siap dipakai. Jika satu konfigurasi menghasilkan lebih banyak koreksi nama, angka, atau label penutur, waktu penyuntingan itu menjadi biaya operasional. Pisahkan biaya batch dan streaming, lalu bagi total biaya tiap jalur dengan durasi rekaman yang berhasil diproses; cara ini menjaga perbandingan tetap terkait dengan hasil yang diterima pengguna.

Protokol uji untuk memilih konfigurasi

Pilih rekaman yang mewakili beban produksi: panggilan langsung, rapat, atau bahan media sesuai layanan. Simpan hasil per kelompok bahasa, campur kode, kondisi suara, jumlah penutur, dan panjang rekaman agar kelompok yang mudah tidak menutupi kelompok yang sulit.
Buat transkrip acuan yang diperiksa manusia. Tetapkan aturan penulisan kata serapan, nama diri, angka yang diucapkan, dan bagian yang tidak terdengar jelas sebelum menghitung WER. Simpan keluaran asli serta versi yang dinormalisasi dengan aturan yang sama untuk semua sistem.
Jalankan setiap konfigurasi pada audio yang sama. Rekam nama model, cara menjalankannya, mode berkas atau langsung, petunjuk bahasa, kosakata tambahan, dan pengaturan diarization. Jika label penutur berasal dari komponen terpisah, nilai hasil gabungannya sebagai satu sistem.
Hitung WER per kelompok, lalu audit nama orang dan tempat, nominal, nomor, serta istilah campur kode. Untuk rekaman dengan beberapa penutur, periksa apakah ucapan ditempelkan pada orang yang tepat: kata yang benar masih dapat menghasilkan catatan rapat yang menyesatkan bila label penuturnya salah.
Ukur waktu menuju teks pertama dan teks final pada sesi langsung, waktu penyelesaian berkas pada mode batch, serta biaya per jam audio yang berhasil diproses. Pilih konfigurasi yang memenuhi batas kesalahan dan latensi untuk kelompok rekaman terpenting, meskipun konfigurasi lain unggul pada WER rata-rata keseluruhan.

Bila layanan memproses panggilan langsung sekaligus arsip rekaman, hasil uji dapat mendukung mesin atau pengaturan yang berbeda untuk masing-masing beban. Transkrip acuan, aturan penilaian, dan dasar penghitungan biaya tetap perlu sama agar pergantian model di kemudian hari dapat dibandingkan secara wajar.