tgbot-collection / SearchGram

🔠 Telegram 中文聊天记录搜索机器人 Effortlessly search your Telegram chat history, including CJK languages, with fuzzy and typo-tolerant search capabilities.
GNU General Public License v3.0
238 stars 24 forks source link

一些问题:zinc #139

Open Astlm opened 3 weeks ago

Astlm commented 3 weeks ago

以下问题基于是我在使用 ZincSerch作为后端的情况下出现的

client掉线重连(①)似乎有问题 我的透明代理网关关闭 重启后 没有成功重连

23:50分时查看日志: 7月 02 23:33:50 Debian python[46491]: [2024-07-02 23:33:50 tcp.py:148 I] Send exception: ConnectionResetError Connection lost 7月 02 23:33:50 Debian python[46491]: [2024-07-02 23:33:50 session.py:416 I] [8] Retrying "updates.GetState" due to: Connection lost 7月 02 23:34:05 Debian python[46491]: [2024-07-02 23:34:05 selector_events.py:1050 W] socket.send() raised exception. 7月 02 23:34:05 Debian python[46491]: [2024-07-02 23:34:05 tcp.py:148 I] Send exception: ConnectionResetError Connection lost 7月 02 23:34:05 Debian python[46491]: [2024-07-02 23:34:05 session.py:416 I] [9] Retrying "updates.GetState" due to: Connection lost 7月 02 23:34:21 Debian python[46491]: [2024-07-02 23:34:21 selector_events.py:1050 W] socket.send() raised exception. 7月 02 23:34:21 Debian python[46491]: [2024-07-02 23:34:21 tcp.py:148 I] Send exception: ConnectionResetError Connection lost 7月 02 23:34:21 Debian python[46491]: [2024-07-02 23:34:21 session.py:416 W] [10] Retrying "updates.GetState" due to: Connection lost 7月 02 23:34:36 Debian python[46491]: [2024-07-02 23:34:36 selector_events.py:1050 W] socket.send() raised exception. 7月 02 23:34:36 Debian python[46491]: [2024-07-02 23:34:36 tcp.py:148 I] Send exception: ConnectionResetError Connection lost

这导致我同步历史消息时的client老是挂掉 真的感觉非常脆弱 即便网络几乎没有波动 时间长了也会寄

另外 我发现 只有同步完成 配置文件里面的用户名和id才会被删除(建议可以改成同步一个删除一个 或者注释掉可能更好)

于是就陷入了一个死循环

启动client同步历史消息 client寄 重启client 重复同步历史消息(②) 如图 Screenshot_20240703-011847~2 Screenshot_20240703-011803~2 (这个只在网页搜索时看到 bot搜索时没看到)

然后是bot搜索结果有问题(③)

已经添加了中文分词相关环境变量 mapping已经给相关字段添加了中文分词的映射 setting已经设置默认的中文分词搜索

网页中文搜索正常

bot中文搜索不正常(同步的历史消息中文搜索正常 新索引的不正常) 搜索露娜 结果: Total Hits: 123 class MbChat: public std::basic_ iostream; -> me on 2024-07-02 22:05:15: 0.5.7 … 👀

绒布球🍬萝莉萌图! -> me on 2024-07-02 20:16:49: 这辈子要被榨干了 👀

绒布球🍬萝莉萌图! -> me on 2024-07-02 20:16:21: 全认识的这辈子有了 👀

绒布球🍬萝莉萌图! -> me on 2024-07-02 20:14:21: 虚拟群星共同唱响《北京欢迎你》!时代符号再现!这盛世,如你所愿!【官方典藏版】 @AIChannel中国绊爱: 翻唱 - 参演嘉宾表:(由于简介功能的限制,我们会在评论区艾特每位嘉宾) 中国绊爱、阿萨Aza 、泠鸢yousa 、嘉然今天吃什么 、贝拉kira 、乃琳Queen 、扇宝 、牧牧白miiu 、星瞳_Official 、shourei小N 、花园花玲 、折原露露 、早稻叽 、陆鳐LuLu 、穆小泠Official 、米诺高分少女 、虞莫MOMO 、露早GOGO、柚恩不加糖 、莞儿睡不醒、心宜不是心仪、哆啦不炸毛、阿梓从小就很可爱 、七海Nana7mi 、小可学妹 、米汀Nagisa 、古堡龙姬、永恒娘Official、dodo_Official 、露米Lumi_Official 、露娜Luna_Official 、思诺snow 、安可anko、小柔Channel 、眞白花音_Official、小桃Channel 、月隐空夜 、Yommyko 、C酱です、尼奈nine_Official、白神遥Haruka 、沐霂是MUMU呀 、梨安不迷路、恬豆发芽了、又一充电中 写在最后: 愿每个时代都能拥有属于自己金色的符号!希望我们可以联合!虚拟的世界也有最真挚的情感! 我们,值得被更多人看见! 〰〰〰〰〰〰〰〰〰〰 🔝> @AIChannel中国绊爱: 参演嘉宾(排名不分先后,十位老师一层!): @阿萨Aza @泠鸢yousa @嘉然今天吃什么 @贝拉kira @乃琳Queen @扇宝 @牧牧白miiu @星瞳_Official @shourei小N @花园花玲 👀

class MbChat: public std::basic_ iostream; -> me on 2024-07-02 09:15:47: 确实( 👀

class MbChat: public std::basic_ iostream; -> me on 2024-07-02 09:14:12: CentOS7 因为版本比较旧而错过这个 CVE,依旧是世界上最安全的系统(bushi 👀

class MbChat: public std::basic_ iostream; -> me on 2024-07-02 09:12:59: Debian fix patch: 9.2p1+deb12u3,已于6月22日发布 👀

class MbChat: public std::basic_ iostream; -> me on 2024-07-01 20:20:25: 防火墙:你好 👀

第二页

Total Hits: 123 class MbChat: public std::basic_ iostream; -> me on 2024-07-01 20:18:29: 需要连续打一周() 👀

从这里开始是历史消息

祂录(3D区) -> me on 2023-06-04 19:52:50: 发个小玩意,因为没玩过《死或生》,而最近在发这个作者的角色的时候会不太认识,所以整理下一点

死或生 #角色

amy 艾米 ayane 绫音 elise 伊莉丝 fiona 菲欧娜 helena 海莲娜 honoka 穗乃果=穗香(sui,四声) hitomi 瞳 kanna 神无=鬼妹 kasumi 霞 koharu 小春 kokoro 心 leifang 丽凤 lobelia 罗贝莉娅 luna 露娜 marie 玛丽罗斯 misaki 海咲(xiao,四声) momiji 红叶 monica 莫妮卡 nagisa 凪咲(zhi,三声;xiao,四声) nanami 七海 nico 妮可 nyotengu 女天狗 patty 帕蒂 sayuri 小百合 tamaki 环 tina 蒂娜 tsukushi 筑紫 👀

祂录(3D区) -> me on 2024-05-01 20:25:16: 作者:#InitialA 期数:2024.04.24 角色:#阿拉尼雅·海温德(角色介绍)#露娜弗蕾亚·诺克斯·芙尔雷(角色介绍)#吉恩提亚娜(角色介绍)#最终幻想 说明:这个不错诶,唯一的缺点就是没声音 👀

祂录(3D区) -> me on 2024-05-01 21:44:28: 作者:#InitialA 期数:2024.03.27 角色:#露娜弗蕾亚(角色介绍)#最终幻想 说明:没有声音 👀

猫 猫 杂 货 店 -> me on 2023-07-22 16:29:02:

最终幻想XV 露娜弗蕾亚·诺克斯·芙尔雷 #露娜

Artist:#lazyprocrastinator 👀

3D同人MMD收藏夹 -> me on 2022-05-01 11:08:06: 编号:000008 类型:#MMD 译:阿尔法露娜 姐妹轮奸 作者: #永夜mzk 标签: #战双帕弥什 #露娜 #阿尔法 #露西亚 👀

3D同人MMD收藏夹 -> me on 2022-05-15 02:20:33: 编号:000196 类型:#NSFW 译: Luna How i react for this situation 作者: #Toone 标签: #3D #同人 #短片 #露娜 #DOA #Luna 👀

3D同人MMD收藏夹 -> me on 2022-05-27 00:19:16: 频道导航栏 此为个人资源收藏频道,主打付费作者 #合集,其他资源随缘更新,有事请在讨论群留言。频道导航会陆续完善 关于秒传:秒传插件 关于密码:密码就是频道链接(T开头那一段) 因收藏夹内大量无水印资源,转发请注明原作者 400+作者合集会慢慢上传。

有喜欢的作品请到原作者的发布地址支持作者(在Partreon,Twitter,Pixiv,Iwara,爱发电等平台均可搜索到作者账号)

作品目录总表指路

3D 同人作者索引:(网速限制其余会逐步上传)

Axel3D #EXGA #Toone #ViciNeko #JeridOiso #VLDstudio #VGErotica #JCMNVA #Amusteven #Akiryo #26RegionSFM #StudioFOW #TheCount #ErochanFX #LazyProcrastinator #Bewyx #Audiodude #lerico213 #KaminaKirei

MMD 作者索引:

永夜mzk #GreeeeeENen #相位土豆 #ForgetSkyrim #shantianxiaozhi #老三

2D 等其他作者:

Milkychu #Rinhee #Kidmo #Gweda #Nekololisama #SaltyIceCream #ylae #Studio34 #Dan98 #LuminousArt

标签索引:

2D #3D #里番 #MMD #漫画 #图集

同人标签索引(施工中)

崩坏3rd:

琪亚娜 #芽衣 #布洛妮娅 #八重樱 #德丽莎 #卡莲 #符华 #丽塔 #希儿 #萝莎莉娅 #莉莉娅 #阿波尼亚 #伊甸 #帕朵菲莉丝 #卡萝尔 #娜塔莎 #梅比乌斯 #爱莉希雅 #幽兰黛尔 #塞西莉亚 #缇米朵 #格雷修

原神:

琴 #安柏 #丽莎 #芭芭拉 #诺艾尔 #菲谢尔 #砂糖 #莫娜 #罗莎莉亚 #优菈 #北斗 #凝光 #香菱 #刻晴 #甘雨 #胡桃 #烟绯 #申鹤 #云堇 #夜兰 #神里绫华 #宵宫 #雷电将军 #九条裟罗 #珊瑚宫心海 #八重神子

尼尔机械纪元:

2B #A2 #YorhaCommander

碧蓝航线:

光辉 #恶毒 #圣路易斯 #愛宕 #高雄 #威尔士亲王 #圣地亚哥 #火奴鲁鲁 #天城 #鲟 #贝尔法斯特 #山城 #可畏 #黛朵 #恰巴耶夫 #欧根亲王 #布莱默顿 #塔尔图 #黎塞留 #赫敏 #德雷克 #樫野 #巴尔的摩 #长波 #天狼星 #纽伦堡 #维托里奥 #吾妻 #新泽西 #北卡罗来纳 #筑摩

最终幻想:

蒂法 #TifaLockhart #爱丽丝 #Aerith #杰西 #Jessie

DOA(忍者龙剑传拳皇等也在这 中文名+英文名 推荐英文):

玛丽罗斯 #MarieRose #蒂娜 #TinaArmstrong #瑞秋 #Rachel #霞 #Kasumi #紅葉 #Momiji #绫音 #Ayane #不知火舞 #MaiShiranui #伊莉丝 #Elise #海伦娜 #Helena #安琪儿 #Ángel #菲奥娜 #Fiona #穗香 #Honoka #露娜 #Luna #美咲 #Misaki #莫妮卡 #Monica #渚 #Nagisa #帕蒂 #Patty

守望先锋 #Overwatch:

Dva

战双帕弥什:

露娜 #阿尔法 #露西亚

LOL:

阿卡丽 #Akali #萨勒芬妮 #Seraphine #阿狸 #Ahri

其他:

初音 #MIKU #弱音 #HAKU #萨姆斯 #火焰纹章 #FireEmblem #LOL #LeagueofLegends ##火影忍者 #雏田 #纲手 #樱 #莱莎的炼金工房 #明日方舟 #FateStayNight #间桐桜 #藤原千花 #FateGrandOrder #FGO #Reines 👀

可以看到 还有一个巨大的问题是时间轴对不上(④) 新消息的时间轴是正常的 但是从同步的历史消息开始就不正常了 因为是在半夜写的 所有可能有些犯迷糊 还请见谅

Astlm commented 3 weeks ago

更新: 把zinc.py里的@timestamp改成date可以解决时间排序的问题

BennyThink commented 3 weeks ago

还真的在用 zinc 吗,我之前试过一次,用起来太麻烦了就半途而废了。所以可能这个问题……不太好修

Astlm commented 3 weeks ago

还真的在用 zinc 吗,我之前试过一次,用起来太麻烦了就半途而废了。所以可能这个问题……不太好修

主要还是历史消息同步体验不太好 zinc那个搜索不统一的问题并没有经常发生 而且只是零星的几条搜索记录对不上 问题不大 排序问题改成date字段就解决了 client那个重连问题 也可以开个定时重启曲线救国 历史消息重复我平时用bot搜索也不会有太大影响 所以 就剩个历史消息同步希望能优化下重连重试(还有之所以用zinc是因为meili同步消息就没完成过😂 应该是因为我的硬件资源不够)

BennyThink commented 3 weeks ago

🫠 zinc我可能都要弃疗了 能等一个PR吗🫠