content_cut テキスト分割ツール star

テキストを断片に分割する

テキストを貼り付けて、3つの方法で分割できます:区切り文字(カンマ、改行、または任意のカスタム文字列)による分割、各チャンクを固定文字数にする分割、または固定数の均等なパートに分ける分割です。分割された各チャンクは、ワンクリックのコピー用ボタンと文字数とともに、専用のボックスに個別に表示されるため、境界を自分で探すことなく、パートを1つずつ取り出せます。

厳密な文字数でチャンクに分割することは、単なる便利機能ではなく、実際にはトレードオフです。たとえば、あるフィールドやAPIのコンテキストウィンドウに収まるように、500文字の段落を100文字ずつのチャンクに分割するとします。厳密な区切りは、そこに何があろうと必ず100文字目でカットするため、単語の途中("...the quick br" | "own fox...")や文の途中で切れることがあります。これは意図的な設計です — 制限が厳格な場合(SMSのセグメント、データベースの列、固定サイズのAPIペイロードなど)、すべてのチャンクが制限値以下に収まることを保証するのが重要だからです。そのトレードオフとなるのがテキストの完全性です。より賢い分割ツールであれば、100文字の位置から後方に向かって最も近いスペースや文の境界を探し、そこで区切ることで単語を分断せずに済みますが、その代わりチャンクの長さが変動し、時には短くなります。区切り文字モードは、あなたが指定した位置だけで区切るため、この問題を完全に回避します — 改行やカンマは、すでにあなた自身がコントロールしている境界です。

この同じ文字分割の問題は、固定のコンテキスト長制限を持つAPIに長い文書を渡す際にも常に発生します。モデルの入力ウィンドウよりも長い文書は、送信前にまず断片に分割する必要があり、文の途中で分割するか自然な境界で分割するかによって、要約や検索の際に各断片がどれだけ単独で理解可能かが変わってきます。

知っておくべきこと

• 区切り文字モードは入力された文字をそのまま完全に保持します — 何もトリミングされず、あなたの代わりに境界が生成されることもありません。
• 固定長モードは厳密な文字数によるものです。設計上、単語や文を途中で分断することがあり、これは文字数制限のあるフィールドが実際に行う切り詰め方と一致します。
• 固定パート数モードは、決まったサイズの断片ではなく、テキストをN個のほぼ均等な断片に分割します。必要なチャンク数はわかっていても、それぞれの長さがわからない場合に便利です。
• よくある用途: 長いメッセージをSMSサイズの断片に分割する、CSVのような行をフィールドに分割する、長い投稿をプラットフォームの文字数制限に合わせて分ける、あるいはトークンやコンテキストの上限があるAPI向けに断片を準備する、などです。