dosubot[bot]
commented
8 months ago 🤖
@qianma819 你好呀，又见面了！希望你今天心情不错 😊
您的问题出现在SummaryAdapter类的_join_docs和_drop_overlap方法中。
_join_docs方法使用类的_separator属性（设置为"\n\n"）来连接文档，这就是在第一行和第二行之间添加了额外的换行符的地方。这是相关的代码：
def _join_docs(self, docs: List[str]) -> Optional[str]:
text = self._separator.join(docs)
text = text.strip()
if text == "":
return None
else:
return text至于为什么双换行符被减少到单个换行符，这是在SummaryAdapter类的_drop_overlap方法中发生的。这个方法删除了连续文档之间的重叠部分。如果重叠恰好在换行符处，它将被删除，将双换行符减少到单个换行符。这是相关的代码：
def _drop_overlap(self, docs: List[DocumentWithVSId]) -> List[str]:
merge_docs = []
pre_doc = None
for doc in docs:
if len(merge_docs) == 0:
pre_doc = doc.page_content
merge_docs.append(doc.page_content)
continue
for i in range(len(pre_doc), self._OVERLAP_SIZE // 2 - 2 * len(self._separator), -1):
pre_doc = pre_doc[1:]
if doc.page_content[:len(pre_doc)] == pre_doc:
merge_docs.append(doc.page_content[len(pre_doc):])
break
pre_doc = doc.page_content
return merge_docs源代码：
关于AliTextSplitter类的作用以及它如何与Langchain-Chatchat代码库的其余部分交互的问题，AliTextSplitter类是CharacterTextSplitter的子类，用于将文本分割成段落。它特别设计用来处理PDF的文本，如其构造函数中的pdf参数所示。
split_text方法是这个类的主要功能。它接收一个文本字符串作为输入，并返回一个分段的文本列表。如果pdf参数设置为True，它会对文本进行一些预处理，以删除过多的换行符和空格。
split_text方法使用modelscope.pipelines包中的一个文档分割模型来执行实际的文本分割。使用的模型是damo/nlp_bert_document-segmentation_chinese-base，这是一个用于文档分割的中文语言模型。模型被加载到CPU中进行计算，但如果需要，可以更改为GPU。
分割的文本然后被分割成一个句子列表，这些句子由方法返回。
在与Langchain-Chatchat代码库的其余部分的交互方面，AliTextSplitter类将在需要文本分割的地方使用，例如在将文本输入到语言模型进行问题回答或其他NLP任务的预处理步骤中。
源代码：
Sources
This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.
Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.
If you want to continue the conversation, start your reply with @dosu-bot.
qianma819
原文档数据： 异常和中断的区别 在MIPS体系结构中，中断、自陷、系统调用以及其它打断程序正常执行流程的事件称为异常， 即异常包括中断，中断是一种特定类型的异常。 龙芯1c的异常分为四级
第一级: 各种情况下异常的总入口 调用的分词器是AliTextSplitter。在class AliTextSplitter增加log查看文档数据 class AliTextSplitter(CharacterTextSplitter): def init(self, pdf: bool = False, kwargs): super().init(kwargs) self.pdf = pdf
结果发现读取的数据跟原数据不一致： 异常和中断的区别
在MIPS体系结构中，中断、自陷、系统调用以及其它打断程序正常执行流程的事件称为异常，
即异常包括中断，中断是一种特定类型的异常。
龙芯1c的异常分为四级
第一级: 各种情况下异常的总入口。
第一行跟第二行中间增加了一个空行。原先的双空行也变成了一个空行。这个是哪地方做了特殊处理？