lc222 / seq2seq_chatbot_new

基于seq2seq模型的简单对话系统的tf实现,具有embedding、attention、beam_search等功能,数据集是Cornell Movie Dialogs
143 stars 64 forks source link

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe6 in position 4094: invalid continuation byte #14

Open david30907d opened 6 years ago

david30907d commented 6 years ago

您好,在使用您的predict.py的時候 發現如果丟太長的文章進去會造成decode錯誤 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe6 in position 4094: invalid continuation byte 以下是我丟的測試文章: 不知道您有沒有遇過?

前情提要:(標題內容在第一個黑線後面) 我是一名重考生 那天,在水利9樓上著最後一堂的英文課 下午三點,忽然聽到救護車的聲音 五點,吃飯休息時間,我吃完飯默默的滑了手機想查一下川金會的詳細敘述(因為剛剛上課時老師講到了川金會) 正在找新聞時看到了推薦新聞,才知道 原來在剛剛上課時,在11樓自習的一名重考學生離世了 當下,看著看著格外的有感觸,因為都同是重考生 從去年學測考糟之後,我開始荒廢而放棄了指考,隨便的填了一個科系,覺得自己總會在未來找到另外一條出路的 但經過了大一上學期,覺得自己的態度好糟糕,對未來人生不負責的態度,就這樣渾渾噩噩的浪費了爸媽一個學期的私立大學學費。 我很喜歡幫助人(自己講==),甚至是和路邊賣口香糖的阿伯聊天 在高雄讀書的我,學期末,我給一個賣玉蘭花的阿婆送上一碗紅豆湯(因為冬天很冷但她都在路邊賣到晚上11點),並和她聊了聊天 阿婆還有兩個孫子要養,因為兒子作生意失敗而離世(這裡就不明說了) 聽到這裡,我眼眶紅了心酸了一片,我好想幫助他們,但能力有限,而且也是爸媽辛苦工作賺來的錢 更甚,想到我如果再渾渾噩噩的過日子,以後要怎麼養爸媽讓他們放心的過晚年… 我想幫助人,我想好好回報我的爸媽 學期末,我辦了休學,我想重考 我想考醫學系,儘管這條路上,這個夢想很艱難,就算會被嘲笑,我還是要提醒自己“莫忘初衷” 回到正題 因為從頭學起所有選修的東西,其實一路上學起來都特別的吃力…比起其他同學,我總是落後的,有時候還需要花額外的時間補錄影帶 我很努力的每天都讀到11:00,但卻還是沒能在月考考進班上前10 有時其實甚至很沮喪很難過,聽個歌就會哭,但哭一哭還是得站起來繼續 讀,繼續為了曾許下的夢想 身為重考生,感受到的莫大的壓力絕對是有的 很感同身受,對那個同學的離世 很惋惜,很不捨,甚至是同情 更多的同情,是對她的媽媽 隔天晚上,11:30回到房間 吃著宵夜,看著已經讀不完的英文(我英文比較爛),很煩躁 洗完澡準備入睡 這時手機突然亮了,老媽傳了封簡訊過來Post images 我假裝很淡定的回完並跟老媽說了聲晚安 但他媽我超想哭。。。 那時,我剛好在聽 蕭煌奇 的《逆風飛翔》 我知道還有一個很愛我的媽媽,不管怎麼樣我都要撐下去並且完成我的夢想 那天晚上,我含著淚入睡 約莫3:00,我聽到房間門敲門的聲音 起初我以為我是在作夢就沒多理,繼續半夢半醒的 (我是住補習班的宿舍) 後來門竟然被打開了,聽到轉動鎖的開門聲我整個嚇醒,裝作繼續熟睡的樣子,我覺得是小偷,於是偷偷拿了放在床頭的保溫瓶準備等待時機開幹一波 接著,我意識到竟然有兩個人,直接給他欲哭無淚 我還有兩個父母等待以後讓我養啊TAT…… 但接下來其中一個人竟然開口說:不要吵他啦,他已經睡著了明天還要早起去讀書呢 是一個中年男子的聲音 另外一個人說:第一次看他打呼,可見他很累(其實我是裝的),好啦我們叫老師多注意一下 是一個中年女性的聲音 說完就走了,聽著聽著覺得這聲音好耳熟,雖然是氣音 我開了燈,看到桌上多了一罐B群,還有我最愛的蛋黃哥的連帽披肩 上頭寫著:兒子,在補習班吹冷氣讀書別著涼了,早上起床吃一個B群,壓力大了去放鬆一下沒關係 旁邊還附上3000塊 我在台中重考,我家住彰化員林,開車大概快一個小時…… 那天晚上,我完全睡不著覺,隔天早上喝了兩杯咖啡 撐著 媽媽是工廠工人,常常做到手都出了毛病,爸爸是維修電腦的,但這幾年電腦市場下滑,有時候甚至會開始用剩餘的時間,做玻璃瓶的回收,多賺一點也好 爸爸身體也不好,去年我考完學測時就因為心臟阻塞而開刀 我有一個很愛我的爸媽, 我默默的對著枕頭說了這句好幾百遍, 告訴自己要加油,我一定要考上醫學系 一定 或許,這一路上我們都曾跌跌撞撞,但別忘記,在我們的身後,不管是家人,朋友 都有個人在默默的為你加油,為你而付出 還記得 從小到大,是你們每天辛辛苦苦賺錢,每天都在替我們操勞 曾經害你們傷心,亦或是和吵架不理解你們的想法 長大後,懂事了才明白,爸媽的心情 不管怎樣,你們都不減對我的愛 當我說要重考,無條件的尊重我的決定 很謝謝能當你們的兒子 不管怎樣,每個爸媽都是愛自己的孩子的 如果,當你在天上看到爸媽抱著自己的身體哭著,看到這一幕,心中是否會浮現後悔兩個字,亦或是兩行淚譁然的流下 我們不一定要成功,才能好好回報他們,但至少,在這輩子,別讓他們擔心,好好孝順他們 畢竟,他們的苦心我們一輩子也還不完 當壓力大的你,為了未來而迷惘的你 聽聽蕭煌奇的 《逆風飛翔》 [不要 害怕失敗會 受傷 努力呀 乘著夢想往前 別說累 總有人 在你身旁 為你加油啊~ 逆著風也要飛翔 很辛苦也要堅強 帶著夢想 去飛翔 努力啊 乘著夢想往前 別怕黑 總有人在你身旁 為你祝福啊逆著風也要盼望 很受傷也要勇敢~飛翔] 最重要的是 希望,看到這篇文章的你我 如果身邊有壓力大的朋友,或許這首歌 不要臉一點 或許我的這篇文章 能讓他/她重新振作起來 繼續努力奮鬥 畢竟我們的身後,都有一個愛你/妳的人 明天,祝所有指考戰士一起加油 ps:順便推銷一下之前的文,有人經過可以捧場哦
lc222 commented 6 years ago

额,首先你要保证你的文本编码格式正确,其次,这是对话模型,最好输入的文本长度不要超过max_length,不然输入的再长也没有什么意义==

david30907d commented 6 years ago

@lc222 原來如此 那我去檢查一下max_length 真的非常感謝您~