content_cut 텍스트 분할기 star

작동 원리

이 도구는 텍스트를 세 가지 방식으로 자릅니다: 원하는 구분자(쉼표, 줄바꿈, 파이프, 또는 임의의 사용자 지정 문자열) 기준, 조각마다 고정된 글자 수 기준, 또는 고정된 개수의 균등한 조각으로 나누는 방식입니다. 결과로 나온 각 조각은 글자 수와 원클릭 복사 버튼이 딸린 자체 상자에 표시되므로, 경계를 직접 찾지 않고도 조각을 하나씩 꺼내 쓸 수 있습니다.

엄격한 글자 수 기준으로 나누는 것은 단순한 편의 기능이 아니라 실질적인 절충입니다. 예를 들어 500자짜리 단락을 입력란이나 API 컨텍스트 창에 맞추기 위해 100자씩 조각내야 한다고 가정해 봅시다. 엄격한 절단은 그 자리에 무엇이 있든 정확히 100번째 글자에서 끊기며, 이 때문에 단어("...the quick br" | "own fox...")나 문장 중간에서 잘릴 수 있습니다. 이는 의도된 동작입니다 — 모든 조각이 한도 이하로 유지되도록 보장하며, 한도가 엄격할 때(SMS 세그먼트, 데이터베이스 컬럼, 고정 크기 API 페이로드) 중요한 것은 바로 이 점입니다. 그 대가는 텍스트의 완결성입니다: 더 똑똑한 분할기라면 100자 지점에서 뒤로 거슬러 올라가 가장 가까운 공백이나 문장 경계를 찾아 거기서 자르겠지만, 그 대신 조각의 길이는 들쭉날쭉해지고 때로는 더 짧아집니다. 구분자 모드는 오직 사용자가 지정한 지점에서만 자르므로 이 문제를 완전히 피해 갑니다 — 줄바꿈이나 쉼표는 이미 사용자가 통제하는 경계입니다.

이와 동일한 글자 수 분할 문제는 컨텍스트 길이 한도가 고정된 API에 긴 문서를 입력할 때도 끊임없이 나타납니다: 모델의 입력 창보다 긴 문서는 먼저 조각으로 나뉘어야 하며, 문장 중간에서 자르는지 자연스러운 경계에서 자르는지에 따라 각 조각이 요약이나 검색에서 독립적으로 얼마나 잘 이해되는지가 달라집니다.

알아두어야 할 사항

• 구분자 모드는 입력한 모든 글자를 그대로 보존합니다 — 아무것도 잘라내지 않으며, 임의로 경계를 만들어내지 않습니다.
• 고정 길이 모드는 엄격한 글자 수 기준입니다. 설계상 단어나 문장을 중간에서 자를 수 있으며, 이는 실제로 엄격한 한도가 있는 입력란이 잘리는 방식과 일치합니다.
• 고정 조각 모드는 텍스트를 정해진 크기의 조각이 아니라 N개의 대략 균등한 조각으로 나눕니다 — 필요한 조각 수는 알지만 각 조각의 길이는 정해두지 않았을 때 유용합니다.
• 흔한 활용: 긴 메시지를 SMS 크기로 나누기, CSV 형태의 한 줄을 필드로 분할하기, 긴 게시글을 플랫폼의 글자 수 제한에 맞게 나누기, 토큰·컨텍스트 한도가 있는 API용 조각 준비하기.