Multimodal AI

[taku300]

概要

人間は何かを説明する時にあらゆる五感情報からそれに対する抽象的なイメージを頭に浮かべて説明している。
マルチモーダルな入力においてはそれが可能。
出力に関してもマルチモーダルに振る舞うことがわかる。
それらが全てわかるようなデモとなっている。

ポイント

• テキストだけでは不十分な情報を補って説明することができる。
• 言語化したものを画像や音声などに変化が可能
• 今までのAIは雰囲気を理解できなかったがそれが理解できるようになったため、人間の業務がより代替可能になった。
• 言語を通してあらゆるものが接続可能になったため、コネクションにかかる業務を代替可能

解決できる課題

• 画像から言語を通じで自己の状況を推定する業務代行
• 画像に写った食べ物の情報から料理を作って、食べログにAPI連携
• 画像に対して質問した情報を収集して、貯めておき同じような状況を感知して警告を鳴らすようなAIの開発

[taku300]

サンプル画像