Dzzz

文本分块器 本机运行

按 token 大小分块并支持重叠，识别阿拉伯语句子边界，输出 JSONL。

大小 512
重叠 64
边界
计数方式
输入 0 字符 · 0 词 · 0 行 · ≈ 0 个 token
输出

在左侧粘贴即可开始。

在上方粘贴即可开始。

chunks.tsv
1 个分块 · 0 个 token——全文可一次放下。

一切都在您的设备上运行。您粘贴的内容不会发送到任何地方，关闭标签页后即被清除。

按 token 大小分块并支持重叠，识别阿拉伯语句子边界，输出 JSONL。所有处理都在浏览器中完成，你粘贴的内容不会被发送到任何地方。

作者 Dzzz AI 更新于

关于本工具

你需要提供

  • 任意文本。

你将获得

  • 带重叠的 token 大小分块和 JSONL 文件。

使用限制

  • Claude 和 Gemini 的 token 数为估算值。

使用方法

  1. 粘贴文本

    粘贴文本，或打开文档。

  2. 设置大小和重叠

    选择分块大小、重叠量和分界方式。

  3. 导出

    复制分块，或下载 JSONL。

常见问题

分块大小是怎么算的？

按 token 计算，使用与 token 计数器相同的分词器，相邻块之间可选择设置重叠。

能导出给向量库使用吗？

可以。JSONL 选项卡为每个块输出一个对象，包含其 id、token 数和偏移量。