Dzzz

Pemecah chunk Di perangkat

Chunk seukuran token dengan tumpang tindih, peka kalimat Arab, keluaran JSONL.

Ukuran 512
Tumpang tindih 64
Batas
Hitung dengan
Input 0 karakter · 0 kata · 0 baris · ≈ 0 token
Output

Tempel di sebelah kiri untuk memulai.

Tempel di atas untuk memulai.

chunks.tsv
1 chunk · 0 token — seluruh teks muat.

Semuanya berjalan di perangkat Anda. Apa pun yang Anda tempel tidak dikirim ke mana pun, dan akan terhapus saat Anda menutup tab.

Chunk seukuran token dengan tumpang tindih, peka kalimat Arab, keluaran JSONL. Semuanya berjalan di browser Anda; teks yang Anda tempel tidak dikirim ke mana pun.

Oleh Dzzz AI Diperbarui

Tentang alat ini

Yang perlu Anda sediakan

  • Teks apa pun.

Yang Anda dapatkan

  • Chunk seukuran token dengan overlap dan file JSONL.

Batasan

  • Jumlah token Claude dan Gemini adalah perkiraan.

Cara menggunakannya

  1. Tempel teks

    Tempel atau buka dokumen.

  2. Atur ukuran dan overlap

    Pilih ukuran chunk, overlap, dan batas pemisah.

  3. Ekspor

    Salin chunk atau unduh JSONL.

Pertanyaan yang sering diajukan

Bagaimana ukuran chunk ditentukan?

Berdasarkan token, memakai tokenizer yang sama dengan penghitung token, dengan overlap opsional antar chunk yang bersebelahan.

Bisakah diekspor untuk vector store?

Ya. Tab JSONL memberi satu objek per chunk beserta id, jumlah token, dan offset-nya.