Penghitung token Di perangkat
Token dan biaya per model — serta alasan teks Arab lebih mahal.
Tempel di sebelah kiri untuk memulai.
Tempel di atas untuk memulai.
Semuanya berjalan di perangkat Anda. Apa pun yang Anda tempel tidak dikirim ke mana pun, dan akan terhapus saat Anda menutup tab.Tokenizer GPT dan Llama yang persis diunduh sekali (sekitar 3,5 MB) dan disimpan untuk dipakai offline.
Tempel teks dan lihat berapa token yang dipakai serta biayanya di setiap model. Hitungan GPT dan Llama memakai tokenizer asli, diunduh sekali dan disimpan di perangkat Anda; Claude dan Gemini tidak memiliki tokenizer yang dipublikasikan, sehingga angkanya diberi label perkiraan. Pembagian teks Arab dan Inggris menunjukkan mengapa teks yang sama bisa lebih mahal dalam bahasa Arab. Apa pun yang Anda tempel tidak dikirim ke mana pun.
Tentang alat ini
Yang perlu Anda sediakan
- Teks yang ditempel atau dibuka dari file .txt, .md, .json, .csv, atau .log hingga 2 MB.
Yang Anda dapatkan
- Jumlah token dan biaya per model terpilih, dengan pemisahan aksara Arab, Inggris, dan lainnya.
- Ringkasan JSON dan, untuk tokenizer yang tepat, token satu per satu.
Batasan
- Jumlah untuk Claude dan Gemini berupa perkiraan; tidak ada tokenizer yang dipublikasikan untuk keduanya.
- Harga adalah cuplikan bertanggal dan bisa berubah.
- Penghitungan GPT dan Llama yang tepat memerlukan unduhan satu kali sekitar 3 MB.
Cara menggunakannya
-
Tempel teks Anda
Tempel ke kotak Input, atau buka file teks.
-
Pilih model
Pilih hingga empat model; masing-masing menampilkan Tepat atau Perkiraan.
-
Baca rinciannya
Lihat token, biaya, dan seberapa banyak konteks tiap model yang terisi oleh teks.
Pertanyaan yang sering diajukan
Mengapa bahasa Arab memakai lebih banyak token daripada bahasa Inggris?
Sebagian besar tokenizer dibangun terutama dari teks bahasa Inggris, sehingga kata-kata Arab dipecah menjadi potongan yang lebih banyak dan lebih kecil. Kalimat yang sama bisa jauh lebih mahal dalam bahasa Arab, dan harakat menambah token lagi.
Apakah jumlahnya tepat?
Untuk model GPT dan Llama, tokenizer yang dipakai adalah tokenizer aslinya, sehingga jumlahnya tepat. Claude dan Gemini tidak punya tokenizer yang dipublikasikan, jadi angkanya berupa perkiraan dan ditandai demikian.
Apakah teks saya diunggah?
Tidak. Penghitungan berlangsung di perangkat Anda. Satu-satunya unduhan adalah data tokenizer, yang diambil sekali lalu disimpan untuk dipakai offline.