k-okada
commented
2 years ago まずは以下の物を完成してもって，ロボットが見たもの→何らかの文章がでてくる，という機能を単体ではなくて，全部のロボットに導入できるようなシステムとして作ってもらうのが良いとおもいます． その上で，その説明文のレベルとして，事実→印象→感情 みたいにあがっていたときに，どういう風に行動が変化するか／すべきか，という風に進めましょう． https://github.com/jsk-ros-pkg/jsk_recognition/issues/2651 https://github.com/jsk-ros-pkg/jsk_robot/issues/1490
景色を見て、「綺麗」「暗い」「壮大」のように印象語で評価する方法が知りたいです。
image captioningのようなことがしたいのですが、 何が映っているかというobject detectionではなく人の感想（印象語/感情語）のようなものを出力として得たいです。
データセットは、flickr/instagramなどのSNSから画像とコメントを取ってきて作る研究があるので、 それを参考にして作れるような気がしています。