jiahe7ay / MINI_LLM

This is a repository used by individuals to experiment and reproduce the pre-training process of LLM.
348 stars 53 forks source link

数据截断问题 #29

Open zhangrui17 opened 5 months ago

zhangrui17 commented 5 months ago

数据在qwen的tokenizer的时候会进行截断和加入<|im_end|>,那为什么还要在数据预处理的时候进行截断和加<|im_end|>?

iissy commented 2 months ago

['昭通机场(ZPZT)是位于中国云南昭通的民用机场,始建于1935年,1960年3月开通往返航班“昆明-昭通”,原来属军民合用机场。1986年机场停止使用。1991年11月扩建,于1994年2 月恢复通航。是西南地区「文明机场」,通航城市昆明。 机场占地1957亩,飞行区等级为4C,有一条跑道,长2720米,宽48米,可供波音737及以下机型起降。 机坪面积6600平方米,停 机位2个,航站楼面积1900平方米。位于城东6公里处,民航路与金鹰大道交叉处。\n航点\n客服电话\n昭通机场客服电话:0870-2830004<|im_end|>我的英雄学院:英雄新世纪\n《我的 英雄学院剧场版:英雄新世纪》(仆のヒーローアカデミア THE MOVIE ヒーローズ:ライジング) 是一部于2019年12月20日上映的日本动画电影,由长崎健司执导、黑田洋介编剧,改编 自日本漫画家堀越耕平创作的漫画系列《我的英雄学院》,同时也是其系列第二部电影版。\n概要\n本作电影内容同样为作者堀越耕平监修的原创故事,并表示「这部电影版某种意义上 可以说是《我的英雄学院》的结局了」。 \n登场角色\n制作人员\n主题曲\n 「ハイヤーグラウンド」\n 作词:片冈健太,作曲:黑',

':黑田隼之介,主唱:sumika\n跨媒体展开\n集 英社亦推出该片的小说版和文库版,由小说家誉司アンリ执笔著作,小说版于2019年12月20日上市。 \n 仆のヒーローアカデミア THE MOVIE ヒーローズ:ライジング\n 仆のヒーローア カデミア\u3000THE\u3000MOVIE\u3000ヒーローズ : ライジング\u3000ノベライズ\u3000みらい文库版<|im_end|>黄大仙文化公园(Wong Tai Sin Culture Park)是香港一个公园, 位 于九龙黄大仙摩士公园,门牌编号为香港黄大仙区竹园大成街8号,为一个公园中的公园,入口设于东头村道及大成街。公园原址为摩士二号公园的苗圃,后来由黄大仙区民政事务总署拨款1,370万港元,改建为一个以中国文化为主题的公园, 于2008年10月落成启用。\n设施\n 无极广场:铺砌《易经》、八卦及太极符号\n 诗墙:刻有书法诗篇\n* 百年古井:原为石鼓垄村的水井<|im_end|>佐洛奇夫(Zolochiv),或按俄语译为佐洛乔夫(Золочев),是乌克兰西部利沃夫州佐洛奇夫区Золоч?вська м?ська громада内的城市, 为该区及该市镇的行政中心。该市面积11.64平方公里,海拔高度276',

'76米,2022年人口数量为23,912人。\n著名景点\n 佐洛奇夫城堡:始建于15世纪,原为波兰索别斯基家族的住所。\n友好城市\n 舍宁 根(1996年)\n 奥瓦瓦(2002年)\n 斯卡多夫斯克(2017年)<|im_end|>陈准, 字道基,颍川郡许昌(今河南许昌)人。西晋官员。官至太尉。出身颍川陈氏,青州刺史陈佐之子, 曹魏司空陈群族孙,曾祖父是陈群的叔叔陈谌。\n生平\n陈准早年居于乡里,被乡人称赞,有声望,晋惠帝元康五年(295年)官至中书令。时皇后贾南风擅权,由于张华、裴??等人共同辅政, 朝野安静。氐人齐万年反叛,陈准多次指斥负责赵王司马伦、梁王司马肜等不任军事,荐举由大将周处、孟观指挥作战。司马肜忌恨周处,致使周处力战而死。后来朝廷从了陈准 的建议,派孟观督师征讨齐万年胜利。永康元年(300年),司马伦发动政变,废杀贾南风,陈准有功,封海陵公。 司马伦意图篡位,淮南王司马允发兵讨伐,围困司马伦。陈准暗地支持司马允,骗晋惠帝说打出劝和驺虞幡,其实派人打出督战的令旗白虎幡。可是,派去的人被司马伦收买,诱杀了司马允。陈准本有心袒护司马允,到头来反而救了司马伦。司马伦不知其 故,提升陈准为太尉, 录尚书事,改封广陵公。',

'公。不久,陈准去世,谥号元。\n家庭\n平辈\n 弟陈徽,太子左卫率,淮南王司马允讨赵王司马伦,曾集结东宫兵在宫内响应淮南 王。\n 弟陈戴,国子助教。\n后代\n 子陈眕,西晋左卫将军,幽州刺史。\n 子陈匡,司马遹东宫侍读。 \n 子陈规\n 孙陈逵,陈眕子,东晋梁淮南二郡太守。<|im_end|>梓潼上 清观位于四川省绵阳市梓潼县,文物遗址年代判定为清。2012年7月16日公布为第八批四川省文物保护单位。\n梓潼上清观位于四川省绵阳市梓潼县东石乡油坪村四社,始建于明成化年间, 现存建筑建于清雍正十二年(1734),整个上清观坐西向东,四合院布局,占地面积860平方公尺。正殿单簷歇山顶,抬梁式梁架,六架椽屋用三柱,前有一步廊,面阔三间11.25公尺 ,进深三间8.15公尺,正殿簷高3.8公尺,脊高6.4公尺;抱鼓石式石柱础, 素面台基垂带踏道九级,高1.65公尺。正殿对面为戏楼,单簷歇山顶,戏台距地2.5公尺,抬粱式梁架,屋面四周使角梁,面阔三间,通面阔7.3公尺,戏台下即为上清观大门入口。左右厢房均为二阿坡屋面,面阔九间,一楼一底二层,楼上走廊前用木栏杆, 四合院中石板墁地。整个上清观保存完整,其正殿和戏楼用材较大,做工考究',

'考究,《咸丰梓潼县志》对上清观有详细记载。上清观是保存较完整的一处清代抬梁穿斗式四合院寺庙建筑,对研究清代寺庙建筑及地方民居 具有重要的价值。1991年, 上清观被梓潼县人民政府公布为县级文物保护单位;2009年,绵阳市人民政府公布为市级文物保护单位。<|im_end|>《帅哥厨师到我家》(Take Home Chef) 是一个真人实境秀形态的美食节目,主持人为柯提斯·史东,于The Learning Channel(TLC)频道首播, 亚洲区则在TLC旅游生活频道播出。\n每一集,史东会在超级市场内找寻一位逛生鲜部之陌生人,特别是二三十岁的漂亮女性,并询问她是否当晚为某人煮晚餐,如果是的话,史东便会主动帮忙对方设计菜单、购买食材,前往当事者家中料理出一顿晚餐,并给当事者 的家人或访客一个惊喜。
\n主厨史东长的高又迷人,而目标人物几乎都是正在购物的年轻漂亮女性,所以节目里会有许多男女间的有趣话题。主厨史东必须得在超级市场内随意找寻对象,并要求对方带他回家帮忙做菜。节目也常有老公、伴侣或邻居对于当事人带陌生人回家所发生的笑话。其中有几集是男性当事人来给他们的伴侣一个惊喜。 \n节目中的食谱都会刊登 在节目的官方网站上。<|i', '|im_end|>任城郡 (曹魏)\n任城郡,中国古代的郡。\n东汉元和元年(84年)夏四月,刘尚受封为第一代任城王。自东平国分任城国,领任城、樊县、亢父三县。曹魏改任城国置任城郡,治所在任城县(在今山东省济宁市东南)。 辖境相当今山东省济宁市附近地区。西晋复为任城国。北魏神龟元年(518年)复置郡,治所在任城县(今山东省济宁市)。属兖州。辖境相当今山东省济宁市及巨野、嘉祥等县地。北齐天保七年(556年),改为高平郡。\n东汉任城王系\n刘博\n刘博(?–174年),为汉章帝之孙, 河间孝王刘开之子,东汉第4代任城王。\n刘博本为参户亭侯,汉桓帝元嘉元年(151年)闰十一月庚午,任城节王刘崇薨,无子,国绝。延熹四年(161年)四月甲寅,封刘博为任城王(治所在任城县,今山东省济宁市微山县西北鲁桥),奉任城孝王刘尚之祀。刘博有孝行,丧母服制如礼, 增封三千户。汉灵帝熹平三年(174年)十一月,刘博薨,无子,国绝。熹平四年(175年), 灵帝复立河间王刘建子新昌侯刘佗为任城王。\n刘博无子嗣。\n刘佗\n任城王刘佗(?-?)为河间贞王刘建之子,东汉第5代(末代)任城王。\n刘佗本为新昌侯,汉灵帝熹平三年(174年)十一月, 任城王刘博薨,无子,',

'子,国绝。熹平四年(175年)三月,汉灵帝立刘佗为任城王(治所在任城县,今山东省济宁市微山县西北鲁桥),奉任城孝王刘尚之祀。刘佗 在位46年,延康元年(220年)魏文帝受禅,废除任城国,降刘佗为崇德侯。<|im_end|>伺候席, 是日本江户时代各地大名登上江户城参觐将军时的坐席次序。\n概要\n伺候席是根据拜谒者的家格、官位以及役职来分别的。由于对于大名家族来说这是表示其身份地位的事物,故伺候席受到了他们格外的重视。\n大名落座的席分七种,是为大廊下席、大广间席、溜诘、帝 鉴间席、柳间席、雁间席以及菊间广缘。 在这些席位是幕府根据大名们的出身和官位来制定的。但,如果某一任正出任役职,他就会坐在与其役职相对应的席位上(比如奏者番在芙蓉间 、大番头在菊间等等)。\n与将军生活起居之处“奥”距离最近的席次是溜间、雁间、菊间广缘、帝鉴间以及主要由谱代大名入座的席位。论官位和石高,大廊下和大广间的亲藩、 外样大 名是要超过前者的,但他们与将军的亲疏则要远于谱代大名们。\n大广间席、帝鉴间席、柳间席的大名被称为表大名,他们只能在五节句(人日、上巳、端午、七夕、重阳)时以及按月 份登城。\n大廊下席\n大廊下席是德川将军家的亲族落座的席次。分为上之部',

'之部屋与下之部屋。\n上之部屋的席次由御三家占据。 江户初期,第三代将军德川家光的子嗣组成的御 两典(甲府藩、馆林藩)也坐在此处。中期以降,八代将军德川吉宗新设的御三卿也坐在上之部屋。而与一桥德川家结亲的福冈藩黑田家当主也一起入坐了。另外,家光正室本理院孝子 之弟鹰司信平成为大名,或赐松平姓,封上野吉井一万石,这一鹰司松平家也于上之部屋有席次。 \n下之部屋是加贺藩前田家的席次所在。此外,江户初期的福井藩松平家和古河足利氏 的后裔喜连川氏也坐在下之部屋(此后福井松平改至大广间,喜连川氏则下到柳间)。到了江户时代后期,迎入第十一代将军德川家齐子女作为养子、正室的大名有很多,比如阿波藩蜂 须贺家、津山藩越前松平家、明石藩越前松平家等。 这些家族的当主也有过从大广间转至大廊下的情况。\n大广间席\n大广间席是国持大名及准国持大名入坐的席次,国主以外,持有四 品以上官位的亲藩和外样大名也在这个席次。\n溜诘\n溜诘即黑书院溜之间,通称松溜。其距离将军的办公场所“奥”最近,是给予臣下最高的席次。\n世代入坐溜诘的大名被称作定溜、 常溜或代代溜。 这包括了会津藩松平家、彦根藩井伊家、高松藩松平家三家。而仅仅一代入坐溜诘的大名被称为飞溜。这包括了伊予松山藩',

'山藩松平家、姬路藩酒井家、忍藩松平家 、川越藩松平家等。此外长期担任老中一职退任后的大名以前官礼遇的形式,仅限一代入坐溜间的末席。是为溜诘格。\n江户初期,溜诘有4到5名大名, 每当有重大的事项则受到幕阁的 咨问。在举行仪式时他们比老中还要上座,格式十分之高。江户中期以降,飞溜大名也逐渐变得和世袭入坐大名类似了。另外,桑名藩松平家、冈崎藩本多家、庄内藩酒井家、越后藩高 田榊原家也几乎是代代入坐的。其结果是,幕末时期这一席次的定员达到将近15名,其稀少性减退, 且本来之趣旨也显著地形骸化了。\n帝鉴间席\n帝鉴间席是那些在幕府成立以前就臣 从德川氏的大名们入坐的席位。这一席次的大名在幕府被称为“谱代大名”。然而,亲藩大名(如宍户藩松平氏、广濑藩松平氏等)与外样大名(如真田氏等)经过请愿而移动至这个席次 的被称为御愿谱代。此外还有新设立的大名(如柳泽氏等) 因为待遇提高而移动到这个席次的。如果一个大名担任重要职位,则其嫡子会移动到雁间。\n柳间席\n柳间是官位在五位以及 无任官的外样大名、交代寄合、表高家和寄合众入坐的席次。官位在五位即使是准国主也在这里入坐,一旦升迁至四品则移动至大广间。此处也是各个大名嫡子入坐的席次。<|im_end|>', '|>曾文通(英文名:Tsang Man Tung),香港舞台设计师、颂钵演奏家、跨领域当代艺术家、涉猎剧场、视觉艺术、音乐及艺术教育等范畴,曾任美国耶鲁大学戏剧学院研究学者。\n简历\n1997年毕业于香港演艺学院,主修舞台及服装设计。曾于香港及台湾为多个戏剧、音乐剧、舞蹈、戏曲及歌剧等演出担任舞台设计、服装设计、 灯光设计及美术指导,获得多个奖 项。2002年举行首个舞台设计展览《舞台空间消解构成》,是香港首位举行舞台设计个展的设计师。\n主要舞台奖项包括:2000年《两条老柴玩游戏》获颁第九届「香港舞台剧奖」之「 最佳舞台设计」。2003年及2008年分别获得香港艺术发展局艺术发展奖的「艺术新进奖(戏剧)」及「艺术家年奖(戏剧)」。 2009年凭作品《永无休止》及《乌哩单刀》在世界剧场设 计展(World Stage Design 2009)获布景设计荣誉奖。2013年凭香港艺术节《野猪》获得香港舞台剧奖「最佳舞台设计」。2012、2016、2017年获得香港舞蹈年奖「最杰出舞台设计 」 。2017年凭香港舞蹈团大型舞剧《风云》于世界剧场设计展获得「布景设计银奖」。 \n曾任香港演艺学院及香港中文大学的驻校艺术家,2010年于',

'年于美国耶鲁大学戏剧学院任研究 学者。2015年获民政事务局局长嘉许计划颁发嘉许状及奖章。\n曾文通的作品以简约见称,并以「一念间一场空」为美学理念,将禅意带进剧场。 相关作品有香港舞蹈团《观自在》(2017年)、普剧场《心寂无声》(2017年) 及深圳境山剧场《入静山林》(2019年)。曾文通亦为颂钵演奏家,2018年出版颂钵原声音乐专辑《声音原本》,2020年出版颂钵书籍《听闻颂 钵》。\n奖项\n2017年:世界剧场设计展 布景设计专业组银奖\n2017年:香港舞蹈年奖 最佳舞台设计(作品:《中华英雄》,香港舞蹈团)\n2016年:香港舞蹈年奖 最佳舞台设计 (作 品:《倩女幽魂》,香港舞蹈团)\n2013年:第二十二届香港舞台剧奖 最佳舞台设计(作品:《野猪》,香港艺术节)\n2012年:香港舞蹈年奖最值得表扬舞美(作品:《双燕-吴冠中名画随想》,香港舞蹈团)\n2008年:香港艺术发展奖年度最佳艺术家\n2007年:第十六届香港舞台剧奖 最佳化妆造型(作品:《大汗推拿》, 新域剧团)\n2003年:第一届艺术发展奖艺术 新进奖\n2002年:第十一届香港舞台剧奖最佳服装设计(作品:《堕落鸟》,剧场组合)\n2000年:第九届香港舞台剧奖',

'剧奖最佳舞台设计(作品:《两条老柴玩游戏》,剧场组合)<|im_end|>鸽鳟,为辐鳍鱼纲鲑形目鲑科的一种,被IUCN列为次级保育类动物。 \n分布\n本鱼分布于欧洲希腊及马其顿间的Prespa湖盆地。\n特征\n本鱼体呈纺锤状,略侧扁,体呈淡褐色,背部颜色较深,体侧具有黑色及红色的细点,并具有不规则的褐色斑块,各鳍略呈淡黄色,尾鳍略凹入,背鳍具有红色小斑点,体长可达33.6公分。\n生态\n本鱼栖息在湖泊,属肉食 性,吃底栖无脊椎动物,繁殖期为11月, 并洄游至附近溪流产卵。\n经济利用\n可为食用鱼,由于过度捕捞,导致族群濒临绝种。<|im_end|>']

iissy commented 2 months ago

请先参考我上面回复的内容,为处理后的数据,在保存为.parquet格式前的数组。

我对数据的处理方式也有点疑问,你看我取前10条原始数据,经过处理,你会发现几个问题:

  1. <|im_end|>会出现在词条的中间,只有最后一条是刚好在末尾(暂忽略<|im_end|>被截断可能);
  2. 换行符号“\n”是否需要去掉呢,是否会影响结果呢;
  3. <|im_end|>在一个词条的中间,目的是分割一个具体的wiki文档吗,对训练来说,这底层是如何处理的呢。

麻烦大佬指教!谢谢