Chunk bölücü Cihazda
Örtüşmeli, token boyutunda chunk'lar; Arapça cümle sınırlarına duyarlı; JSONL çıktısı.
Başlamak için soldaki alana yapıştırın.
Başlamak için yukarıya yapıştırın.
Her şey cihazınızda çalışır. Yapıştırdığınız hiçbir şey herhangi bir yere gönderilmez ve sekmeyi kapattığınızda temizlenir.
Örtüşmeli, token boyutunda chunk'lar; Arapça cümle sınırlarına duyarlı; JSONL çıktısı. Her şey tarayıcınızda çalışır; yapıştırdığınız hiçbir şey herhangi bir yere gönderilmez.
Bu araç hakkında
Sizin sağlayacağınız
- Herhangi bir metin.
Elde edeceğiniz
- Örtüşmeli, token boyutlu parçalar ve bir JSONL dosyası.
Sınırlar
- Claude ve Gemini token sayıları tahminidir.
Nasıl kullanılır
-
Metni yapıştır
Belgeyi yapıştırın veya açın.
-
Boyutu ve örtüşmeyi ayarla
Parça boyutunu, örtüşmeyi ve sınırı seçin.
-
Dışa aktar
Parçaları kopyalayın veya JSONL olarak indirin.
Sık sorulan sorular
Parçalar nasıl boyutlandırılır?
Token sayacıyla aynı tokenizer'lar kullanılarak token cinsinden; komşu parçalar arasında isteğe bağlı örtüşme bırakılabilir.
Vektör deposu için dışa aktarabilir miyim?
Evet. JSONL sekmesi her parça için kimliği, token sayısı ve konumlarıyla bir nesne verir.