字符文本分割器

除了递归字符文本分割器之外，还有更常见的字符文本分割器。

它仅在一个类型的字符上分割（默认为"\\")。您可以以完全相同的方式使用它。

import { Document } from "langchain/document";

import { CharacterTextSplitter } from "langchain/text_splitter";



const text = "foo bar baz 123";

const splitter = new CharacterTextSplitter({

  separator: " ",

  chunkSize: 7,

  chunkOverlap: 3,

});

const output = await splitter.createDocuments([text]);