어절 분리
tokenize한국어 문장을 어절(토큰) 단위로 분리합니다. 품사 정보 없이 어절 경계만 필요할 때 쓰고, 형태소·품사가 필요하면 analyze_syntax 를 쓰세요. auto_spacing=true 를 주면 띄어쓰기가 어긋난 문장도 바로잡아 나눕니다.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| text | Yes | 토큰화할 한국어 텍스트(필수) | |
| encoding | No | 오프셋 계산 인코딩. utf8/utf16/utf32 중 하나. 기본값 utf32 | |
| auto_spacing | No | true면 자동 띄어쓰기를 적용한다. 기본값 false |