Closed hfu closed 6 months ago
5/20-24でスペインのバレンシアで開催されるUN Maps Conferenceにオンラインで参加予定です。タイトルは「UN Maps BaseMaps & Vector Tile Toolkit」で、UN Maps BaseMapsの部分をUNGSCのMarcelloが担当し、Vector Tile Toolkitの部分をk96mz(ubukawa)が担当します。
引き続き、幅優先探索モードで動いています。
tinyllama
と tinydolphin
を一つの Raspberry Pi 4B 8GB で動かしてみた。ちょっと不安定だったので、現在は、2つの ebot とも tinyllama で動かしている。@yuiseki -> @hfu -> @smellman -> others -> @k96mz
RaspberryPiでも現実的な速度で動くオススメLLMについて
tinyllama:1.1b
以外だと、 phi:2.7b
か phi3:3.8b
がRaspberry Piでも快適に動くはずですgemma:2b-text
あるいは gemma:2b-instruct
も、非常に小さいのでRaspberry Piでも快適に動くはずです@yuiseki phi や gemma を Discord 上で試してみています。放置していると落ち込んでいく話題が、それぞれのモデルによって違っていて、速度面の違いも含めて興味深いです。
人間の介入にどのように反応していくかというところの作り込みを今後やってみたいと思っています。おそらく、人間の介入には優先的に反応するようにしてあげる、新しい発話の方に優先的に反応するようにしてあげる、といった改善をすると人間にとっては快適な bot になってくれるのかなと思っています。
2024-05-07T12:30/12:55+09:00 🖐Smart Maps Meetup Weekly
Smart Maps Meetup Weekly の第66回です。
接続アドレス
https://teams.microsoft.com/l/meetup-join/19%3ameeting_ZmYxNzllMGEtNDBmYi00ZTFlLWEwMWYtNjBhMjA4MWFmNDdh%40thread.v2/0?context=%7b%22Tid%22%3a%220f9e35db-544f-4f60-bdcc-5ea416e6dc70%22%2c%22Oid%22%3a%22bc13950a-60ca-4244-920f-dea51d098c27%22%7d
Meeting ID: 392 905 942 918 Passcode: JvFQvy
次回予告
通常、毎週火曜日に実施しています。