Towards Language Models That Can See: Computer Vision Through the LENS of Natural Language, William Berrios+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.16410

  Affiliations

  • William Berrios, N/A
  • Gautam Mittal, N/A
  • Tristan Thrush, N/A
  • Douwe Kiela, N/A
  • Amanpreet Singh, N/A

    Abstract

  • We propose LENS, a modular approach for tackling computer vision problems byleveraging the power of large language models (LLMs). Our system uses alanguage model to reason over outputs from a set of independent and highlydescriptive vision modules that provide exhaustive information about an image.We evaluate the approach on pure computer vision settings such as zero- andfew-shot object recognition, as well as on vision and language problems. LENScan be applied to any off-the-shelf LLM and we find that the LLMs with LENSperform highly competitively with much bigger and much more sophisticatedsystems, without any multimodal training whatsoever. We open-source our code athttps://github.com/ContextualAI/lens and provide an interactive demo.

    Translation (by gpt-3.5-turbo)

• 私たちは、大規模言語モデル（LLMs）の力を活用してコンピュータビジョンの問題に取り組むためのモジュラーなアプローチであるLENSを提案します。私たちのシステムは、画像についての徹底的な情報を提供する独立した高度なビジョンモジュールの出力に対して、言語モデルを使用して推論を行います。ゼロショットおよびフューショットのオブジェクト認識などの純粋なコンピュータビジョンの設定、およびビジョンと言語の問題について、このアプローチを評価します。LENSは、市販のLLMに適用することができ、LLMを使用したLENSは、多くの場合、より大きく、より洗練されたシステムと非常に競争力のあるパフォーマンスを発揮します。私たちは、コードをhttps://github.com/ContextualAI/lensでオープンソース化し、インタラクティブなデモも提供します。

  Summary (by gpt-3.5-turbo)

• 私たちは、LENSというモジュラーなアプローチを提案しています。このアプローチでは、大規模言語モデル（LLMs）を使用してコンピュータビジョンの問題に取り組みます。LENSは、独立したビジョンモジュールの出力に対して言語モデルを使用して推論を行います。私たちは、ゼロショットおよびフューショットのオブジェクト認識などのコンピュータビジョンの設定でLENSを評価しました。LENSは市販のLLMに適用でき、非常に競争力のあるパフォーマンスを発揮します。コードはオープンソースで提供されています。

[AkihikoWatanabe]

参考: https://twitter.com/hillbig/status/1674878733264781312?s=46&t=KFT8cWTu8vV69iD6Qt0NGw

[AkihikoWatanabe]