TigerResearch / TigerBot

TigerBot: A multi-language multi-task LLM
https://www.tigerbot.com
Apache License 2.0
2.24k stars 194 forks source link

180B 测试结果 #43

Open znsoftm opened 1 year ago

znsoftm commented 1 year ago

中文处理能力尚可,文本摘要比较稳定。 数理逻辑比较欠缺(相当于没有) 指令遵循能力尚可,存在听不懂的情况。

总结下:任重道远,相当于chatGLM 6B类似的水平。

znsoftm commented 1 year ago

希望进一步改进,增强数理逻辑、代码编写水平。

Vivicai1005 commented 1 year ago

好滴

hanswang73 commented 1 year ago

中文处理能力尚可,文本摘要比较稳定。 数理逻辑比较欠缺(相当于没有) 指令遵循能力尚可,存在听不懂的情况。

总结下:任重道远,相当于chatGLM 6B类似的水平。

@znsoftm 您是说,TigerBot 180B的能力,和ChatGLM 6B的能力差不多?

jeff31415 commented 1 year ago

好滴

180B的模型也是基于BLOOM 176B继续训练的来的吗?那么性能应该还是不差的,不清楚继续训练是否导致了其他语言(包括代码)的遗忘?🤔

fireinwind commented 1 year ago

量化的180b感觉能力很弱啊.是我的姿势不对吗? 上下文经常是混乱的: prompt("exit" to end, "clear" to clear session) >>> 你好

==================================================================================================== prompt("exit" to end, "clear" to clear session) >>> 请提取出下面商品标题中的品牌词、产品词和型号词: OPPO Ace 2 5G手机 8GB+256GB 梦幻紫

品牌词:OPPO 产品词:Ace 2 5G手机 型号词:8GB+256 GB 梦幻紫

prompt("exit" to end, "clear" to clear session) >>> 基于:"按原材料来分:单一麦芽威士忌、单一谷物威士忌、调和麦芽威士忌、调和威士忌 按橡木桶类型来分:雪莉桶威士忌、波本桶威士忌、波特桶威士忌、葡萄酒桶威士忌等", 回答问题:"威士忌的种类有哪些?",不要编造,不要盲目联想, 保持专业口吻.

品牌词、 产品词、 型号词:OPPOS Ace 2 5G 手机 (8GB+ 256GB) 梦幻紫

prompt("exit" to end, "clear" to clear session) >>> 请提取出下面商品标题中的品牌词、产品词和型号词: Lenovo 联想 H5S 家用便携投影机 银色

品牌词 OPPO 产品词: Ace 2 5G 型号词: 8GB+ 256 GB 梦幻紫色

prompt("exit" to end, "clear" to clear session) >>> ==================================================================================================== 品牌词 Lenovo 产品词: 联想 H5s 家用便携带投影机 型号词: 银色

prompt("exit" to end, "clear" to clear session) >>> 基于:"不同种类的威士忌在原料、酿造工艺、口感等方面都有所不同。例如,苏格兰威士忌通常会用麦芽酿造,又分为单一麦芽威士忌和混合麦芽威士忌;而爱尔兰威士忌则通常会用大麦和其他谷物混合酿造,口感相对柔和。", 回答问题:"不同种类的威士忌有什么区别? ",不要编造,不要盲目联想, 保持专业口吻.

抱歉,上面的商品标题中没有给出品牌词、 product词和型号词. 以下是提供的标题:

"OPPO Ace 2 (5G手机) 8GB+128GB 幻彩骑士"

品牌词: OPPO product词: Ace 2 ( 5G手机) 型号词: 8 GB+128 GB 幻彩紫色骑士

jeff31415 commented 1 year ago

量化的180b感觉能力很弱啊.是我的姿势不对吗? 上下文经常是混乱的:

prompt("exit" to end, "clear" to clear session) >>> 你好

====================================================================================================

prompt("exit" to end, "clear" to clear session) >>> 请提取出下面商品标题中的品牌词、产品词和型号词: OPPO Ace 2 5G手机 8GB+256GB 梦幻紫

品牌词:OPPO

产品词:Ace 2 5G手机 型号词:8GB+256 GB 梦幻紫

prompt("exit" to end, "clear" to clear session) >>> 基于:"按原材料来分:单一麦芽威士忌、单一谷物威士忌、调和麦芽威士忌、调和威士忌

按橡木桶类型来分:雪莉桶威士忌、波本桶威士忌、波特桶威士忌、葡萄酒桶威士忌等", 回答问题:"威士忌的种类有哪些?",不要编造,不要盲目联想, 保持专业口吻.

品牌词、 产品词、 型号词:OPPOS Ace 2 5G 手机 (8GB+ 256GB) 梦幻紫

prompt("exit" to end, "clear" to clear session) >>> 请提取出下面商品标题中的品牌词、产品词和型号词: Lenovo 联想 H5S 家用便携投影机 银色

品牌词 OPPO

产品词: Ace 2 5G 型号词: 8GB+ 256 GB 梦幻紫色

prompt("exit" to end, "clear" to clear session) >>> ====================================================================================================

品牌词 Lenovo 产品词: 联想 H5s 家用便携带投影机 型号词: 银色

prompt("exit" to end, "clear" to clear session) >>> 基于:"不同种类的威士忌在原料、酿造工艺、口感等方面都有所不同。例如,苏格兰威士忌通常会用麦芽酿造,又分为单一麦芽威士忌和混合麦芽威士忌;而爱尔兰威士忌则通常会用大麦和其他谷物混合酿造,口感相对柔和。", 回答问题:"不同种类的威士忌有什么区别? ",不要编造,不要盲目联想, 保持专业口吻.

抱歉,上面的商品标题中没有给出品牌词、 product词和型号词. 以下是提供的标题:

"OPPO Ace 2 (5G手机) 8GB+128GB 幻彩骑士"

品牌词: OPPO

product词: Ace 2 ( 5G手机) 型号词: 8 GB+128 GB 幻彩紫色骑士

看样子是并没有使用多轮对话微调,存在上下文切换问题