Open arianpg opened 1 year ago
https://www.arianpg.com/post/2023-07-19/
参考 rwkv.cpp を試す｜npaka rwkv.cpp公式 RWKV-4 Worldモデル スペック CPU: i7-8700K RAM: 32GB OS: Win11 やったこと 基本的にnpaka様のサイト通りに実行。(GGML変換ではdata_type=FP16, GGML量子化ではformat_name=Q5_1を設定) cmakeが入っていなかったので、公式からインストール。 また、RWKVモデルは丁度RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pthが出ていたので、こちらを利用。 チャット結果 > Bob: 夜に小腹が空いたとき、何を食べればよいでしょうか。 > Alice: 私はチョコレートやクッキー、ケーキが大好きです。あなたは何が好きですか？ > Bob: 甘いものは好きですが、夜に食べるのはちょっと・・ > Alice: そうですね。夕食の後に食べるなら、お腹が空いていない状態で食べるのが良いでしょう。または、夜遅くに食べるのは控えた方が良いかもしれません。どうしても食べたい場合は、朝食にすると良いですよ。 > Bob: それはそうなんですが、それでも夜遅くに何か食べたい時はどうしましょう？ > Alice: その場合は、朝食を抜くか、軽い食事を取ってください。食べ過ぎると、夜に眠れなくなります。また、空腹で寝るのは良くないので、軽い食事をとりましょう。 > Bob: その場合、具体的にどんなものを食べるのがよいでしょうか。 > Alice: 軽い食事には、サラダ、ヨーグルト、果物、シリアルなどがおすすめです。これらは消化に良く、満腹感を得られます。また、食べ過ぎないように注意しましょう。 > Bob: なるほど参考になりました。 > Alice: どういたしまして。何か他に質問がありますか？ > Bob: 東京で寿司を食べるなら、どの店に行くべきでしょうか。 > Alice: 東京にはたくさんの寿司屋がありますが、どの店に行くかは好みによるでしょう。銀座の寿司屋は有名ですが、もっとリーズナブルな店もあります。あなたが好きな食べ物や、予算を教えてください。 > Bob: 5000円を上限としたいです。 > Alice: 分かりました。5000円以内でおいしい寿司を食べられる店をご紹介します。これはあくまでも参考程度ですが、参考にしてください。 > Bob: 店名を教えてください。 > Alice: まずは、「すし たなか」という店があります。ここは、新鮮なネタと手頃な価格が特徴です。次に、「すし くら」という店があります。ここは、海鮮を使った寿司が有名です。最後に、「すし まる」という店があります。ここは、握り 寿司が有名です。 > Bob: 「すし たなか」は何処にありますか？ > Alice: 「すし たなか」は、銀座駅から徒歩5分のところにあります。また、「すし くら」は、銀座駅から徒歩10分のところにあります。「すし まる」は、銀座駅から徒歩15分のところにあります。 > Bob: ありがとうございます。 > Alice: どういたしまして。寿司は、健康的な食事の選択肢の一つです。あなたが健康的な食事をするのを助けるために、私はあなたに寿司を食べる前に運動をすることをお勧めします。運動することで、エネルギーが消費され、栄養素が消費されます。 > Bob: 具体的にどのような運動をすべきでしょうか。 > Alice: 軽いジョギングやウォーキングなどがお勧めです。また、筋力トレーニングをすることもお勧めします。筋力トレーニングは、代謝を高め、脂肪燃焼を促進し、筋肉量を増やすのに役立ちます。 所感 回答はストレスないくらいには早く実用的 同じモデルをColabのA100でそのまま動かした場合と遜色ないと感じた 日本語のやり取りも、かなり自然で違和感が少ない ローカルで、しかもCPUでここまで動かせるとか、ほんと凄い Chat用のプロンプト等はrwkv.
https://www.arianpg.com/post/2023-07-19/
参考 rwkv.cpp を試す｜npaka rwkv.cpp公式 RWKV-4 Worldモデル スペック CPU: i7-8700K RAM: 32GB OS: Win11 やったこと 基本的にnpaka様のサイト通りに実行。(GGML変換ではdata_type=FP16, GGML量子化ではformat_name=Q5_1を設定) cmakeが入っていなかったので、公式からインストール。 また、RWKVモデルは丁度RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pthが出ていたので、こちらを利用。 チャット結果 > Bob: 夜に小腹が空いたとき、何を食べればよいでしょうか。 > Alice: 私はチョコレートやクッキー、ケーキが大好きです。あなたは何が好きですか？ > Bob: 甘いものは好きですが、夜に食べるのはちょっと・・ > Alice: そうですね。夕食の後に食べるなら、お腹が空いていない状態で食べるのが良いでしょう。または、夜遅くに食べるのは控えた方が良いかもしれません。どうしても食べたい場合は、朝食にすると良いですよ。 > Bob: それはそうなんですが、それでも夜遅くに何か食べたい時はどうしましょう？ > Alice: その場合は、朝食を抜くか、軽い食事を取ってください。食べ過ぎると、夜に眠れなくなります。また、空腹で寝るのは良くないので、軽い食事をとりましょう。 > Bob: その場合、具体的にどんなものを食べるのがよいでしょうか。 > Alice: 軽い食事には、サラダ、ヨーグルト、果物、シリアルなどがおすすめです。これらは消化に良く、満腹感を得られます。また、食べ過ぎないように注意しましょう。 > Bob: なるほど参考になりました。 > Alice: どういたしまして。何か他に質問がありますか？ > Bob: 東京で寿司を食べるなら、どの店に行くべきでしょうか。 > Alice: 東京にはたくさんの寿司屋がありますが、どの店に行くかは好みによるでしょう。銀座の寿司屋は有名ですが、もっとリーズナブルな店もあります。あなたが好きな食べ物や、予算を教えてください。 > Bob: 5000円を上限としたいです。 > Alice: 分かりました。5000円以内でおいしい寿司を食べられる店をご紹介します。これはあくまでも参考程度ですが、参考にしてください。 > Bob: 店名を教えてください。 > Alice: まずは、「すし たなか」という店があります。ここは、新鮮なネタと手頃な価格が特徴です。次に、「すし くら」という店があります。ここは、海鮮を使った寿司が有名です。最後に、「すし まる」という店があります。ここは、握り 寿司が有名です。 > Bob: 「すし たなか」は何処にありますか？ > Alice: 「すし たなか」は、銀座駅から徒歩5分のところにあります。また、「すし くら」は、銀座駅から徒歩10分のところにあります。「すし まる」は、銀座駅から徒歩15分のところにあります。 > Bob: ありがとうございます。 > Alice: どういたしまして。寿司は、健康的な食事の選択肢の一つです。あなたが健康的な食事をするのを助けるために、私はあなたに寿司を食べる前に運動をすることをお勧めします。運動することで、エネルギーが消費され、栄養素が消費されます。 > Bob: 具体的にどのような運動をすべきでしょうか。 > Alice: 軽いジョギングやウォーキングなどがお勧めです。また、筋力トレーニングをすることもお勧めします。筋力トレーニングは、代謝を高め、脂肪燃焼を促進し、筋肉量を増やすのに役立ちます。 所感 回答はストレスないくらいには早く実用的 同じモデルをColabのA100でそのまま動かした場合と遜色ないと感じた 日本語のやり取りも、かなり自然で違和感が少ない ローカルで、しかもCPUでここまで動かせるとか、ほんと凄い Chat用のプロンプト等はrwkv.