SmartLi8 / stella

text embedding
Apache License 2.0
134 stars 6 forks source link

关于训练数据的格式 #4

Open lusongshuo-mt opened 12 months ago

lusongshuo-mt commented 12 months ago

你好,十分有意思的工作!我想要在自己的数据集上尝试复现这个算法,可以分享一下训练数据(in_batch和pair)的格式吗?十分感谢!

DunZhang commented 10 months ago
{"txt1": "为什么用人之君需要慎之又慎?", "txt2": "04接着,他对欺兄盗嫂的传闻不做辩解,任其所言;而对贪金受贿,却自认不讳,且慷慨陈词说:\"我孑然一身,远道而来,若不受金,没有资金来源,纵有天大的本事,又怎么付诸实施呢?我今天投你,是想把一生所学贡献出来,你看能行,便可采纳;如认为无用,所收原金俱在,尽可归公处理,并甘愿听凭处理!\"刘邦听后,很是叹服,更加重用、当众将其晋升为护军中尉。这样一来,他人再也不敢说什么了。其后,陈平在刘邦白登山解围,计除韩信和后来的除掉诸吕的过程中,发挥了重要作用,和周勃、灌婴齐名并传不朽。05为什么陈平对其欺兄盗嫂之说不予理会呢?他认为不值一辩,且也不易辨清,所以只好听之任之。其实,据史料记载,陈平和他嫂子的关系并不和睦。当时陈平家中贫困,只爱读书,不会干活。陈平的哥哥见陈平诚心好学,便遣使从师,情愿独自一人耕种持家。但陈平的嫂子却小肚鸡肠,常常讽言相讥。有一天,陈平回家,邻人见其面色丰腴,便说笑话逗陈平道:\"你吃什么好的东西,长得这么丰满?\"还未等陈平答话,他嫂子就说:\"我家贫寒,他又啥都不干,有啥好吃的?无非吃些糠麸罢了。有这样的小叔子,还不如没有的好。\"寥寥数语,尖酸刻薄,把个陈平说得面红耳赤,无地自容,恰在这时,他哥哥进来了。听后大怒,说这是诚心挑拨他兄弟之间的关系,非要把她休回娘家。陈平忙从中劝解,但他哥哥心坚意决,最后还是把他嫂子赶出了家门。从这一事实来看,所谓陈平的\"欺兄盗嫂\"之说,实属无中生有的不实之词。06小编认为,刘邦用人的标准是否全面、正确,姑且不论,但就其视才如宝,爱能如命而言,不也是可称道的吗?经济上的问题,生活作风上的问题,最易毁掉一个人的声誉,孰不知一些嫉贤能之徒,又何尝不是常常以此为据,添枝加叶而有意把别人整垮呢。这倒是用人之君所应慎之又慎的。谢谢朋友们阅读《万物历史》,您对小编在本期图文中的历史描述和历史观点是怎么看的呢?欢迎留言讨论,如果您喜欢小编的文章,请点赞、关注、转发和收藏吧!", "hard_negs": ["原文地址:大人物的三个标志作者:长白山彪子事业大是肯定的了。但事业大中也分两种,一是时势造英雄。比如一个行业的兴盛,会带起一批弄潮儿,每个人都有一番奋斗史,但仔细听,都在潮流之中。孙先生说,世界潮流浩浩荡荡,顺之者昌,逆之者亡。这是顺时昌。还有一种,是英雄造时势。这说起来难,做起来更难。天时地利人和,一样不占,逆潮流而动,却又引潮流之先声。奋斗二字,不足为凭,须是天才,怪才,或大作为者。这是逆时昌。逆时昌是先驱,能开辟未来。有逆时昌创造之潮流,才有顺时昌随其后而涌。如此说来,大人物需是逆时昌。顺时昌最多沾了一点英雄气概。多为草莽,书读得多些,便是精英。心胸大。心胸大和慈悲是两回事。心胸大的未必不杀人。宰相肚子里能撑船,遇到家规国法,该执行就得执行。因为心胸大,大人物都很客气,因为他能平等众生。皇帝面前他恭敬谦卑,同事面前他还是恭敬谦卑,回到家,看见一个警卫,还是礼貌周到。这种人,遇大事如视小事,遇小事也绝不小视。泰山崩色不变,不是胆子大,而是习惯好,自修成功,内心常静,明镜一般。什么人什么事也逃不过去。老百姓爱说,阎王好见,小鬼难缠,就是这个意思。若把大人物的客气当福气,登鼻子上脸,民间也有一句话,阎王要你三更死,不会留你到五更。承担大。这是双向选择,历史赋予的,和接受历史重任。历史有时会赋予一些人大责任,但历史不是人,不会告诉你,只能靠自悟。有些人悟到了,或欣然受命,或慷慨承担。有些人一辈子也没有明白,胡里胡涂,也做了点大事。还有些人,揣着明白装胡涂,就是不接历史的茬。这里就说到了,不是人人愿意当大人物的,人一大,就孤独,皇帝是孤家寡人。多少妃子臣民表示理解与崇敬,他还是寡人。为什么,因为只有他一个人坐在那个位子上。当大人物的命运,就算成功也是悲剧。生命中的苦痛,说了也无人懂。有些天资过人的,就和历史装傻,与命运装呆。逃脱这个选择。所以,真正的大人物都是第一种,受命承担之人。理解自己的命运,并慷慨接受,除了承担开创的困苦,还要承担历史的责任。最重要的,是理解这种承担不会有什么回报。承担大不是做生意,投资一百两,赚个二百八十两。承担大就是举一人之力,兴一国之邦,无一文好处。这样说来,人一辈子还是不做大人物的好。若身边有这样的大人物,需多向其学习,多提供帮助,同时,一定要保持尊敬,前面说过,心胸大的未必不杀人,自古死在大人物刀下的小鬼多了去了,何必加入?", "一个需要发展的企业应该做到:讲信用,讲信用是一种现代社会无法或缺的个人无形资产。诚信的约束不仅来自外界,更来自我们的自律心态和自身的道德力量。一丝一毫关乎节操,一件小事、一次不经意的失信,可能会毁了我们一生的名誉,诚信是企业立业之本,发展之道(一)我们的人生观和处事哲学的核心就是:先做人后做事1、做人:做人就是要以“德”为先,讲“仁、义、诚、信”。做人就要做好人,什么是好人?有理想、有道德、有文化、有纪律的人是好人;对国家、对民族、对人民有贡献的人是好人。我们不求长命百岁,但求“生的平凡,死的伟大”,用宋朝女词人李清照的话说:生当作人杰,死亦为鬼雄。2、做事:堂堂正正做人,老老实实做事,干工作不只是为了个人满足,更要得到社会的赞同和认可,为社会创造财富,这样活着才有意义。我们要求干部职工克服“自负、自足、自馁;畏首、畏尾、畏难”三自三畏的心理,坚持“吃亏吃气吃苦,苦尽甘来;尽职尽责尽力,力所能及”的三吃三尽精神,充分发挥自己的聪明才智,在获得事业成功的同时,也给国家创造丰厚的效益。(二)我们的指导思想是:“人才为本、文化为根、服务为宗”。1、人才为本:人是生产力中最活跃、最重要的因素,人才资源是第一资源。实施人才兴业战略,大力培养造就各类高素质人才,尊重知识,尊重人才,努力营造鼓励人才干事业的平台。2、文化为根:企业以文化为根,优秀的企业文化可促进企业发展、增强企业活力、提高企业的核心竞争力。公司每年举行五大传统活动的目的在于起到凝聚和激励作用,树立公司的企业形象。企业充分重视企业文化的建设。尤其注重三个方面的企业文化:创新文化、诚信文化和团队文化。3、服务为宗:服务是客户的宗旨,切实把好服务关,做到“以客户为导向,以方案为根本,以满意为原则”用自己的诚信赢得客户的赞誉和信赖。一个需要发展的企业应该做到:讲信用,讲信用是一种现代社会无法或缺的个人无形资产。诚信的约束不仅来自外界,更来自我们的自律心态和自身的道德力量。一丝一毫关乎节操,一件小事、一次不经意的失信,可能会毁了我们一生的名誉,诚信是企业立业之本,发展之道(一)我们的人生观和处事哲学的核心就是:先做人后做事1、做人:做人就是要以“德”为先,讲“仁、义、诚、信”。做人就要做好人,什么是好人?有理想、有道德、有文化、有纪律的人是好人;对国家、对民族、对人民有贡献的人是好人。我们不求长命百岁,但求“生的平凡,死的伟大”,用宋朝女词人李清照的话说:生当作人杰,死亦为鬼雄。2、做事:堂堂正正做人,老老实实做事,干工作不只是为了个人满足,更要得到社会的赞同和认可,为社会创造财富,这样活着才有意义。我们要求干部职工克服“自负、自足、自馁;畏首、畏尾、畏难”三自三畏的心理,坚持“吃亏吃气吃苦,苦尽甘来;尽职尽责尽力,力所能及”的三吃三尽精神,充分发挥自己的聪明才智,在获得事业成功的同时,也给国家创造丰厚的效益。(二)我们的指导思想是:“人才为本、文化为根、服务为宗”。1、人才为本:人是生产力中最活跃、最重要的因素,人才资源是第一资源。实施人才兴业战略,大力培养造就各类高素质人才,尊重知识,尊重人才,努力营造鼓励人才干事业的平台。2、文化为根:企业以文化为根,优秀的企业文化可促进企业发展、增强企业活力、提高企业的核心竞争力。公司每年举行五大传统活动的目的在于起到凝聚和激励作用,树立公司的企业形象。企业充分重视企业文化的建设。尤其注重三个方面的企业文化:创新文化、诚信文化和团队文化。3、服务为宗:服务是客户的宗旨,切实把好服务关,做到“以客户为导向,以方案为根本,以满意为原则”用自己的诚信赢得客户的赞誉和信赖", "一、道德品质存在缺陷之人不能用小人不能用当今社会,我们在评论一个人的好坏时,首先看到的是他的道德素养。这方面界定这个人的为人本质。一个道德本质不行、差的人,我们统称为小人。小人的本质表现为:自私、自利、心肠歹毒、阴险、夸夸其谈、虚话、场面话、假话连篇等等...这样的人是无论如何不能做出有正能量的事情出来的。如果,他目前看似在走正儿八经道路,那么迟早会把他本来的目的、嘴脸露出来的。所谓\"日久见人心,路遥知马力\"就是如此道理。迟早是企业团队的坏苹果,把你的团队带入万劫不复之深渊。此类人绝对不能用。二、一个不懂得感恩之人不能培养\"白眼狼\"类之人不能用要\"阅\"清楚此类人,只要看他在几次关键的事件中的面对态度,就能充分体现出他\"白眼狼\"的本质。不懂得感恩之人,自然不会感恩自己的平台,也不会去感恩曾经对他支持和帮助的任何人。自然而然他也不会成\"器\"。此类人往往都认为自己本来就是很有本事的(自负),自己认为自己所得的一切都是理所当然的,把自己的成绩都会全部当作自己努力而得来的。他会忘记自己一路走来别人对他的提携、苦心教导。自然就不会心存感恩了!一个如此\"白眼狼\"之人,哪怕他能力再强,相信也不会有一个上司、老板会去对他作如何培养。三、本身素质不高,又不接受他人调教之人,不值得去培养固步自封之人不堪培养本身素质不高,包含文化素质、专业技能素质。这些都可以后天通过学习、培训提高。但是,如果不能深刻认识到自己的缺陷,也无虚心接受及改变之人,不堪培养及任用。四、接受能力、领悟能力不高之人,不堪培养\"朽木\"之人不能培养\"他山之石,可以攻玉\",是块好的玉石材料才可以雕刻成玉器出来。朽木是难成材的!一个不够\"醒目\"的下属是很难委以重任的。带这样的下属只会让上司身心俱疲。往往他做错了,他还觉得无辜。这种人,只适合做简单、重复的工作且需多关注。不堪大用。五、一个没有忠诚度而言之人是不能任用的\"墙头草\"之人不堪任用站在公司、老板的角度而言,公司的职员必须对公司忠诚,不能做损害公司、老板的利益。同时,也不能漠视损害公司、老板利益的现象存在。站在上司的立场,不能容忍的是下属对自己的背信弃义。", "人的高低层次,不在财富地位,而在格局和修养。你把时间花在哪里,你就会成为什么样的人。层次越低的人,越喜欢在这三件事情上浪费时间。1、层次越低,欲望越深。据传印度人为捕捉猴子,制作一种木笼,笼中放着食物。猴子伸进手去,抓住食物,手就拿不出来。要想拿出手来,必须放下食物,但猴子却不舍得放下食物。所以,它们轻而易举就被抓住了。人也是一样。被欲望拿捏,只能失去自由,任人摆布。欲望,是枷锁,是负累。庄子说:你看痴迷财货的人,整天担惊受怕,生怕有一天自己的钱没了,整日贪婪无度,生怕自己的钱少了。这样的日子,物质再富足,又有什么意思呢?贪得者,分金恨不得玉,封侯怨不授公。欲望,是个无底洞,只能越陷越深。层次低的人,为欲望所困,终生难以解脱。直到树倒猢狲散,大地茫茫干净,才幡然醒悟。知足不辱,知止不殆。不要在物质上浪费太多时间,要学会丰盈自己的灵魂。大千世界,万种诱惑,什么都想要,会把人累死,该放下就得放下,人生才有安宁幸福可言。2、层次越低,越喜欢得理不饶人。前段时间,某知名导演在餐厅发飙。因为服务员把菜汤不慎洒落在他身上,他把服务员骂了个狗血淋头。服务员不停道歉,最后,都被骂哭了,该导演依然不依不饶。而在千年之前的宋朝,范仲淹在看书的时候,执灯士兵因为瞌睡,不慎把他的头发烧到了。士兵诚惶诚恐的退下,范仲淹却嘱咐下属,不要罚他,不然他这一辈子就毁了,反而继续让他执灯。真正高层次的人,都懂得宽恕别人。为了一些鸡毛蒜皮的小事,大动干戈,一定要别人付出代价,这样的人睚眦必报,层次太低。有外卖小哥因为迟到一分钟被客户退餐,不得已,只能自己花钱买下来吃掉,还被客户投诉,扣掉了奖金。人无完人,谁都会犯错。知错能改,善莫大焉。何必揪着不放,不肯饶恕呢。不要把有限的生命浪费在\"找茬\"上。这样的生命,充满着挑剔和戾气,久而久之,心态就会发生变化,气质、面目也会慢慢改变。时间长了,人们就会很难亲近他。傅雷曾说:理直也不要气壮,得理也要饶人。路宽处,留三分与人过,滋味浓时,留三分与人尝。得饶人处且饶人,既是给别人方便,也是给自己积德。3、层次越低,越喜欢谈论是非。在网络时代,人们传播流言的成本极低,所以键盘侠大行其道。他们热衷于把流言、闲话当作谈资。肆无忌惮的谈论别人的隐私,对别人评头论足,一旦不合心意,就开始出口成脏。佛家常讲:口业。一个人每次说出伤人的话,都是在给自己造业。中国第一代女星阮玲玉,就是因为某小报对她本人的私生活妄加揣测,指指点点,导致舆论哗然,阮玲玉不堪重负,吞安眠药自杀。鲁迅还因此撰写了一篇文章-《论人言可畏》。舌上有龙泉,杀人不见血。很多人谈是说非,臧否人物,还洋洋自得,一副指点江山的架势。但却不知道,嘴巴说的是非太多,内心也就会变得浑浊。口作的业多了,迟早要报应到自己头上。《格言联璧》中说:静坐常思己过,闲谈莫论人非。不要把眼睛盯着别人,嘴巴议论别人,看好自己的人生,专注于自己的事情,才能真正提高自己,完善自己。文章来源于互联网,如有侵权,请联系删除!"]}
mengyao00 commented 2 months ago
{"txt1": "为什么用人之君需要慎之又慎?", "txt2": "04接着,他对欺兄盗嫂的传...", "hard_negs": ["原文地址:大人物...", "一个需要发展的企业应该做到:讲..."]}

请问这个格式应该是in_batch的数据对吗?text1 是 question, text 2 是positive passage。

可以提供一个pair的格式吗?pair应该是含有label的对吗?谢谢!

mengyao00 commented 2 months ago

以及这里所谓的

for i in range(len(batch)):
        for j in range(len(batch)):
            # 1,4: 相似
            # 0 2 3 不相似,其中3是中立,2是完全相反
            if labels[i] in [0, 2, 3] and labels[j] in [1, 4]:
                neg_pos_idxs[i][j] = 1.0
            elif labels[i] == 2 and labels[j] == 3:
                neg_pos_idxs[i][j] = 1.0

请问 # 1,4: 相似 # 0 2 3 不相似,其中3是中立,2是完全相反是什么意思呢