Dzzz

Découpeur de texte Sur l’appareil

Segments à taille de tokens avec chevauchement, adaptés aux phrases arabes, sortie JSONL.

Taille 512
Chevauchement 64
Limite
Compter avec
Entrée 0 caractères · 0 mots · 0 lignes · ≈ 0 tokens
Sortie

Collez votre texte à gauche pour commencer.

Collez votre texte ci-dessus pour commencer.

chunks.tsv
1 segment · 0 tokens : le texte tient en entier.

Tout s'exécute sur votre appareil. Rien de ce que vous collez n'est envoyé ailleurs, et tout est effacé à la fermeture de l'onglet.

Segments à taille de tokens avec chevauchement, adaptés aux phrases arabes, sortie JSONL. Tout s'exécute dans votre navigateur ; rien de ce que vous collez n'est envoyé ailleurs.

Par Dzzz AI Mis à jour

À propos de cet outil

Ce que vous fournissez

  • Un texte quelconque.

Ce que vous obtenez

  • Morceaux dimensionnés en tokens avec chevauchement, et un fichier JSONL.

Limites

  • Les nombres de tokens Claude et Gemini sont des estimations.

Comment l'utiliser

  1. Collez le texte

    Collez le document ou ouvrez-le.

  2. Définissez la taille et le chevauchement

    Choisissez la taille des chunks, le chevauchement et la limite.

  3. Exportez

    Copiez les chunks ou téléchargez le JSONL.

Questions fréquentes

Comment la taille des morceaux est-elle déterminée ?

En tokens, avec les mêmes tokenizers que le compteur de tokens, et un chevauchement facultatif entre morceaux voisins.

Puis-je exporter pour une base vectorielle ?

Oui. L’onglet JSONL fournit un objet par morceau, avec son identifiant, son nombre de tokens et ses décalages.