TokenTextSplitter의 파라미터들이 코드에 고정된 값으로 사용되어, 문서마다 분할 설정을 유연하게 변경하기 어려웠다.문서 크기와 내용에 따라 최적의 조각 크기를 찾기 위해 defaultChunkSize나 minChunkSizeChars와 같은 값들이 상황에 맞게 조정될 필요가 있었다. 코드 수정 없이 설정을 쉽게 관리할 방법이 필요해, 프로퍼티 파일을 통해 파라미터를 외부에서 제어할 수 있는 구조를 검토하게 되었다.TokenTextSplitter 는 문서를 여러 조각으로 분할하여 벡터화하기 쉽게 만드는 도구다. AI 모델이 텍스트를 이해하고 처리하기 적합한 방식으로 문서를 나눌 수 있다. 주로 벡터 저장소에 삽입하기 전, 문서의 특정 길이를 기반으로 분할한다. 1. TokenTextSplitt..