Dzzz

Divisor en chunks En tu dispositivo

Chunks del tamaño de tokens que quiera, con solapamiento, atentos a las oraciones en árabe y con salida JSONL.

Tamaño 512
Solapamiento 64
Límite
Contar con
Entrada 0 caracteres · 0 palabras · 0 líneas · ≈ 0 tokens
Salida

Pegue a la izquierda para empezar.

Pegue arriba para empezar.

chunks.tsv
1 chunk · 0 tokens: el texto completo cabe.

Todo se ejecuta en su dispositivo. Nada de lo que pegue se envía a ningún sitio, y se borra al cerrar la pestaña.

Chunks del tamaño de tokens que quiera, con solapamiento, atentos a las oraciones en árabe y con salida JSONL. Todo se ejecuta en su navegador; nada de lo que pegue se envía a ningún sitio.

Por Dzzz AI Actualizado

Acerca de esta herramienta

Lo que proporcionas

  • Cualquier texto.

Lo que obtienes

  • Fragmentos por tamaño en tokens con solapamiento y un archivo JSONL.

Límites

  • Los recuentos de tokens de Claude y Gemini son estimaciones.

Cómo usarla

  1. Pegue el texto

    Pegue o abra el documento.

  2. Defina tamaño y solapamiento

    Elija el tamaño del fragmento, el solapamiento y el límite.

  3. Exporte

    Copie los fragmentos o descargue JSONL.

Preguntas frecuentes

¿Cómo se calcula el tamaño de los fragmentos?

Por tokens, con los mismos tokenizadores que el contador de tokens, y con un solapamiento opcional entre fragmentos contiguos.

¿Puedo exportar para una base de datos vectorial?

Sí. La pestaña JSONL da un objeto por fragmento con su id, número de tokens y desplazamientos.