对没有标点的文本进行分段

[gaowenxin95]

您好，我这边有个样本数据没有任何标点，主要是因为实际中给的数据就没有标点，使用这里介绍的方法基本没有分出来段，texttilling这个方法我记得原作者是基于字的个数去进行相似度计算的，而不是标点？

@Sean16SYSU @blmoistawinde @JiaxiangBU

def find_chinese(file):
    pattern = re.compile(r'[^\u4e00-\u9fa5]')
    chinese = re.sub(pattern, '', file)
    return chinese

if __name__ == "__main__":
    line = '''
    中共中央总书记、国家主席、中央军委主席习近平近日在安徽考察时强调，要贯彻落实好党中央决策部署，贯彻新发展理念，坚持稳中求进工作总基调，坚持改革开放，坚持高质量发展，深化供给侧结构性改革，打好三大攻坚战，做好“六稳”工作，落实“六保”任务，决胜全面建成小康社会、决战脱贫攻坚，在构建以国内大循环为主体、国内国际双循环相互促进的新发展格局中实现更大作为，在加快建设美好安徽上取得新的更大进展。
    八月的江淮大地，烈日炎炎。8月18日至21日，习近平在安徽省委书记李锦斌、省长李国英陪同下，先后来到阜阳、马鞍山、合肥等地，深入防汛救灾一线、农村、企业、革命纪念馆等，看望慰问受灾群众和防汛救灾一线人员，就统筹推进常态化疫情防控和经济社会发展工作、加强防汛救灾和灾后恢复重建、推进长三角一体化发展、谋划“十四五”时期经济社会发展进行调研。
    18日下午，习近平首先来到阜阳市阜南县王家坝闸，听取安徽省防汛工作及王家坝开闸分洪情况介绍。王家坝闸有千里淮河“第一闸”之称。今年7月20日，王家坝闸时隔13年再次开闸蓄洪，有效发挥了错峰减压功能。在王家坝防汛抗洪展厅，习近平详细了解淮河治理历史和淮河流域防汛抗洪工作情况。他强调，淮河是新中国成立后第一条全面系统治理的大河。70年来，淮河治理取得显著成效，防洪体系越来越完善，防汛抗洪、防灾减灾能力不断提高。要把治理淮河的经验总结好，认真谋划“十四五”时期淮河治理方案。
    随后，习近平来到附近的红亮箱包有限公司，了解阜南县开展就业扶贫和防止因灾致贫返贫情况，并察看车间生产线，同职工亲切交流。习近平希望企业克服困难，把灾害造成的损失抢回来。他要求各级党委和政府加大扶持力度，帮助企业渡过难关，保障受灾群众、贫困群众就业。
    离开扶贫车间，习近平来到蒙洼蓄洪区曹集镇利民村西田坡庄台考察调研。洪水退后，庄台附近农田一派繁忙景象，村民正加紧在水塘中采摘芡实、在退水地块中补种蔬菜。习近平沿着田埂走进农田深处，向正在劳作的乡亲们了解生产恢复情况。他指出，要因地制宜、抢种补种，尽量把灾害损失降到最低，争取秋季仍然取得好的收成。要根据蓄洪区特点安排群众生产生活，扬长避短，同时引导和鼓励乡亲们逐步搬离出去，确保蓄洪区人口不再增多。
    习近平接着来到西田坡庄台，察看村容村貌，并走进村民的家，了解他们的家庭收入、受灾损失、生产恢复等情况。习近平指出，各级党委和政府要根据国家规定，尽快将相关补偿款落实到位，并出台兜底保障等帮扶措施，确保受灾群众基本生活不受影响。
    离开庄台时，村民们纷纷向总书记问好。习近平对乡亲们说，我十分牵挂灾区群众，这次专程来看望乡亲们，看到大家在党委和政府帮助下生活逐步恢复正常，积极开展生产自救，我就放心了。希望乡亲们自力更生，继续努力，让日子越过越红火！
    19日上午，习近平前往马鞍山市考察调研。薛家洼生态园地处长江岸边，长期以来乱搭乱建、污水横流，经过整治，如今已成为百姓亲江亲水亲绿的美丽岸线。习近平详细了解马鞍山市长江岸线综合整治和生态环境保护修复、长江十年禁渔等工作落实情况，并走到江边察看长江水势和岸线生态环境。习近平强调，生态环境保护和经济发展不是矛盾对立的关系，而是辩证统一的关系。把生态保护好，把生态优势发挥出来，才能实现高质量发展。实施长江十年禁渔计划，要把相关工作做到位，让广大渔民愿意上岸、上得了岸，上岸后能够稳得住、能致富。长江经济带建设，要共抓大保护、不搞大开发。要增强爱护长江、保护长江的意识，实现“人民保护长江、长江造福人民”的良性循环，早日重现“一江碧水向东流”的胜景。
    马鞍山市因钢而设、因钢而兴。习近平来到中国宝武马钢集团，了解企业生产经营情况，察看重点产品展示。随后，习近平走进优质合金棒材车间，察看加热炉、初轧机、中轧机等运行情况。车间外，企业劳动模范、工人代表看到总书记来了，热烈鼓掌。习近平亲切地同大家打招呼。他指出，疫情发生以来，马钢克服困难，率先复工复产，上半年产量和营收同比实现“双升”。要抓住深化国有企业改革和推动长三角一体化发展的重大机遇，加强新材料新技术研发，开发生产更多技术含量高、附加值高的新产品，增强市场竞争力。劳动模范是共和国的功臣，要大力弘扬劳模精神。
    19日下午，习近平来到合肥市肥东县十八联圩生态湿地蓄洪区巢湖大堤罗家疃段考察。今年入汛以来，巢湖水位多次突破历史极值，合肥市主动启用十八联圩及周边圩区蓄洪。习近平仔细察看巢湖水势水情，听取环巢湖主要圩口分洪及周边湿地蓄洪、巢湖综合治理情况汇报，了解防汛物资和大堤加固情况。他强调，要坚持湿地蓄洪区的定位和规划，尽快恢复生态湿地蓄洪区的行蓄洪功能和生态保护功能。他指出，当前，南方有关地方要继续抓好防汛救灾工作，同时要严防次生灾害。北方有关地方要对可能发生的汛情加强警戒和防范，全面落实防汛救灾各项工作，确保安全度汛，确保人民群众生命财产安全。
    大堤上，习近平亲切看望慰问了在防汛抗洪救灾斗争中牺牲同志的家属、防汛抗洪一线人员、先进典型代表和参加抗洪抢险的部队官兵，并向全国奋战在防汛抗洪救灾一线的同志们表示诚挚的问候。他强调，今年入汛以来，南北方江河湖泊接连出现超警戒水位险情。广大干部群众和人民解放军、武警官兵坚决响应党和政府号召，发扬不怕累苦、不怕疲劳、不怕牺牲的精神斗志，坚守在防汛抗洪救灾第一线，涌现了许多先进典型和感人事迹，展现了中国人民众志成城、顽强拼搏、敢于胜利的英雄气概，书写了洪水无情人有情的人间大爱。党和人民感谢你们！
    当天下午，习近平在合肥参观了安徽创新馆，对安徽在推进科技创新和发展战略性新兴产业上取得积极进展表示肯定。他指出，安徽要加快融入长三角一体化发展，实现跨越式发展，关键靠创新。要进一步夯实创新的基础，加快科技成果转化，加快培育新兴产业，锲而不舍、久久为功。
    渡江战役纪念馆坐落在巢湖之滨。71年前，在人民群众大力支援下，人民解放军一举突破长江天险，为解放全中国创造了条件。习近平参观了纪念馆，重温那段革命历史。他强调，淮海战役的胜利是靠老百姓用小车推出来的，渡江战役的胜利是靠老百姓用小船划出来的。任何时候我们都要不忘初心、牢记使命，都不能忘了人民这个根，永远做忠诚的人民服务员。要广泛开展爱国主义教育，让人们深入理解为什么历史和人民选择了中国共产党，为什么必须坚持走中国特色社会主义道路、实现中华民族伟大复兴。
    21日上午，习近平听取了安徽省委和省政府工作汇报，对安徽各项工作取得的成绩给予肯定，希望安徽广大干部群众进一步解放思想、开拓奋进，知重负重、攻坚克难，为全面建成小康社会、开启全面建设社会主义现代化国家新征程贡献更大力量。
    习近平强调，当前，防汛救灾任务仍很艰巨，各级党委和政府要发扬不怕疲劳、连续作战的作风，做好防汛救灾和灾后恢复重建工作，支持受灾企业复工复产。要把防止因疫因灾致贫返贫摆在突出位置，坚持精准扶贫，进行有针对性的帮扶。要坚持以防为主、防抗救相结合，结合“十四五”规划，聚焦河流湖泊安全、生态环境安全、城市防洪安全，谋划建设一批基础性、枢纽性的重大项目。要坚决扛稳粮食安全责任，深化农业供给侧结构性改革，促进农村三产融合发展，提高农业质量效益和竞争力。
    习近平指出，要深刻把握发展的阶段性新特征新要求，坚持把做实做强做优实体经济作为主攻方向，一手抓传统产业转型升级，一手抓战略性新兴产业发展壮大，推动制造业加速向数字化、网络化、智能化发展，提高产业链供应链稳定性和现代化水平。要牢牢把握扩大内需这个战略基点，努力探索形成新发展格局的有效路径。要对标世界一流，加强前沿探索和前瞻布局，加大关键核心技术攻坚力度。要发挥好改革的突破和先导作用，依靠改革破除发展瓶颈、汇聚发展优势、增强发展动力。要紧扣一体化和高质量两个关键词，深入推进重点领域一体化建设，推进长三角一体化发展。
    习近平强调，要牢固树立以人民为中心的发展思想，扎实推进民生工程，出台更多援企、减负、稳岗、扩就业的支持性措施，突出做好高校毕业生、农民工、退役军人、受灾群众等重点人群就业工作，落实好纾困惠企政策，保护和激发市场主体活力。要全面贯彻党的教育方针，落实立德树人根本任务，促进教育公平。要保持现有帮扶政策总体稳定，接续推进全面脱贫与乡村振兴有效衔接，推动贫困地区走向全面振兴。要完善重大疫情防控救治体制机制，健全公共卫生应急管理体系。要推动社会治理和服务重心向基层下移，完善基层社会治安综合治理。
    习近平指出，人民是我们党的执政基础。抗击新冠肺炎疫情、抗洪抢险斗争再次表明，只要我们党始终为人民执政、依靠人民执政，就能无往而不胜。各级领导班子和领导干部要践行党的宗旨，树牢群众观点，力戒形式主义、官僚主义。要教育引导广大党员、干部坚定理想信念，不断提高辨别政治是非、保持政治定力、驾驭政治局面、防范政治风险的能力。要坚持反腐败无禁区、全覆盖、零容忍，一体推进不敢腐、不能腐、不想腐体制机制建设，推动全面从严治党向基层一线、向群众身边延伸，实现正气充盈、政治清明。
    丁薛祥、刘鹤、陈希、王勇、何立峰和中央有关部门负责同志陪同考察，张又侠参加有关活动。
    '''
    # print("原文：")
    # print(line)
    print("保留中文：")
    text=find_chinese(line)
    # print("保留非中文：")
    # find_unchinese(line)

ht = HarvestText()

print("原始文本[1段]")
# print(get_text+"\n")
print("预测文本[手动设置分5段]")
predicted_paras = ht.cut_paragraphs(text, num_paras=5)
print("\n".join(predicted_paras)+"\n")

结果的话我这边放个图,也就是还是1段，没有分出来

[blmoistawinde]

你好，你对于原始的texttiling算法的理解是非常精准的，它确实不依赖于标点，而是依赖于多个字符数目固定的序列组成块来计算相似度。

不过，在本库之前的实现里，我使用了句子来代替字符数目固定的序列，这样使得语义上更加清晰，且省去了设置参数的麻烦。不过也是因此，默认设定下的算法不支持没有标点的文本。之前的设计中也没有考虑到这种使用场景。

不过既然确实有这样的需要的话，我更新了一下，加了一个新参数设定来还原原始的设置，可以通过把seq_chars设置为一正整数，来使用原始论文的设置（固定字数数目的序列），为没有标点的文本来进行分段。如果也没有段落换行标记，请设置align_boundary=False。例见examples/basic.py中的cut_paragraph()：

print("去除标点以后的分段")
text2 = extract_only_chinese(text)
predicted_paras2 = ht0.cut_paragraphs(text2, num_paras=5, seq_chars=10, align_boundary=False)
print("\n".join(predicted_paras2)+"\n")

去除标点以后的分段
备受社会关注的湖南常德滴滴司机遇害案将于月日时许在汉寿县人民法院开庭审理此前犯罪嫌疑人岁大学生杨某淇被鉴定为作案时患有抑郁症为有 
限定刑事责任能力新京报此前报道年
月日凌晨滴滴司机陈师
傅搭载岁大学生杨某淇到常南汽车总站附近坐在后排的杨某淇趁陈某不备朝陈某连捅数刀致其死亡事发监控显示杨某淇杀人后下车离开随后杨某淇 
到公安机关自首并供述称因悲观厌世精神崩溃无故将司机杀害据杨某淇就读学校的工作人员称他家有四口人姐姐是聋哑人今日上午田女士告诉新京 
报记者明日开庭时间不变此前已提出刑事附带民事赔偿但通过与法院的沟通后获知对方父母已经没有赔偿的意愿当时按照人身死亡赔偿金计算共计 
多万元那时也想考虑对方家庭的经济状况田女士说她相信法律对最后的结果也做好心理准备对方一家从未道歉此前庭前会议中对方提
出了嫌疑人杨某淇作案时患有抑郁症的辩护意见另具警方出具的鉴定书显示嫌疑人作案时有限定刑事责任能力新京
报记者从陈师傅的家属处获知陈师傅有两个儿子大儿子今年岁小儿子还不到岁这对我来说是一起悲剧对我们生活的影响肯定是很大的田女士告诉新 
京报记者丈夫遇害后他们一家的主劳动力没有了她自己带着两个孩子和两个老人一起过生活很艰辛她说还好有妹妹的陪伴现在已经好些了

由于算法的局限性，在没有句子边界和段落边界线索的情况下，其表现可能不太尽如人意。但还是希望这个实现能够提供一些启发~

[gaowenxin95]

你好，你对于原始的texttiling算法的理解是非常精准的，它确实不依赖于标点，而是依赖于多个字符数目固定的序列组成块来计算相似度。

不过，在本库之前的实现里，我使用了句子来代替字符数目固定的序列，这样使得语义上更加清晰，且省去了设置参数的麻烦。不过也是因此，默认设定下的算法不支持没有标点的文本。之前的设计中也没有考虑到这种使用场景。

不过既然确实有这样的需要的话，我更新了一下，加了一个新参数设定来还原原始的设置，可以通过把seq_chars设置为一正整数，来使用原始论文的设置（固定字数数目的序列），为没有标点的文本来进行分段。如果也没有段落换行标记，请设置align_boundary=False。例见examples/basic.py中的cut_paragraph()：

print("去除标点以后的分段")
text2 = extract_only_chinese(text)
predicted_paras2 = ht0.cut_paragraphs(text2, num_paras=5, seq_chars=10, align_boundary=False)
print("\n".join(predicted_paras2)+"\n")

去除标点以后的分段
备受社会关注的湖南常德滴滴司机遇害案将于月日时许在汉寿县人民法院开庭审理此前犯罪嫌疑人岁大学生杨某淇被鉴定为作案时患有抑郁症为有 
限定刑事责任能力新京报此前报道年
月日凌晨滴滴司机陈师
傅搭载岁大学生杨某淇到常南汽车总站附近坐在后排的杨某淇趁陈某不备朝陈某连捅数刀致其死亡事发监控显示杨某淇杀人后下车离开随后杨某淇 
到公安机关自首并供述称因悲观厌世精神崩溃无故将司机杀害据杨某淇就读学校的工作人员称他家有四口人姐姐是聋哑人今日上午田女士告诉新京 
报记者明日开庭时间不变此前已提出刑事附带民事赔偿但通过与法院的沟通后获知对方父母已经没有赔偿的意愿当时按照人身死亡赔偿金计算共计 
多万元那时也想考虑对方家庭的经济状况田女士说她相信法律对最后的结果也做好心理准备对方一家从未道歉此前庭前会议中对方提
出了嫌疑人杨某淇作案时患有抑郁症的辩护意见另具警方出具的鉴定书显示嫌疑人作案时有限定刑事责任能力新京
报记者从陈师傅的家属处获知陈师傅有两个儿子大儿子今年岁小儿子还不到岁这对我来说是一起悲剧对我们生活的影响肯定是很大的田女士告诉新 
京报记者丈夫遇害后他们一家的主劳动力没有了她自己带着两个孩子和两个老人一起过生活很艰辛她说还好有妹妹的陪伴现在已经好些了

由于算法的局限性，在没有句子边界和段落边界线索的情况下，其表现可能不太尽如人意。但还是希望这个实现能够提供一些启发~

多谢啊，按照您的参数设置，我这边ok了

[JiaxiangBU]

@gaowenxin95 我觉得也没问题，我看到过 BRNN 的作者 Schuster and Paliwal (1997) 对这样的序列特征也是直接切分的，我们尝试下多个 segment 的情况，看看哪个效果好？

Schuster, M., and K. K. Paliwal. 1997. “Bidirectional Recurrent Neural Networks.” IEEE Transactions on Signal Processing 45 (11): 2673–81.