prompt-engineering-of-gpt-4-for-chemical-research-what-cancannot-be-done

[mei28]

---

id: prompt-engineering-of-gpt-4-for-chemical-research-what-cancannot-be-done aliases:

• prompt-engineering-of-gpt-4-for-chemical-research-what-cancannot-be-done tags:
• TSUNDOKU

• LLM

prompt-engineering-of-gpt-4-for-chemical-research-what-cancannot-be-done

一言で言うと

LLMはどこまで化学物質を理解しているかを調査

論文リンク

著者/所属機関

• Kan Hatakeyama-Sato, Naoki Yamane, Yasuhiko Igarashi, Yuta Nabae & Teruaki Hayakawa

投稿日付(yyyy/MM/dd)

先行研究と比べてどこがすごい？

技術・手法のキモはどこ？

どうやって有効だと検証した?

---

3. LLMのどこまで知識を持っているのか？

   化合物(Compounds)

   • 一般的な科学の教科書やwebの知識がある
   • TEMPOなどの少し専門的な知識もある。これはWikiから訓練されているかも。
   • しかし、さらに派生したもの4-cyano TEMPOは持っていない。プレプリントやオープンアクセスなどはデータにはいっていない？
   • プロンプト：Tell me the phsical mand chemical properties of tolen

物理化学(Physcal chemistry)

• 一般的なものは理解している。しかし、学術論文レベルの知識は持っていない

有機化学 (Organic chemistry)

• 教科書レベル(アセトアミノフェンの合成)などは理解できている
• しかし合成経路は理解できているが、合成手順については教えてくれない。
  • これは化学実験について簡単にアクセスさせないため?[1]
• 有機化学の応用についても解決されていない。
  • TEMPOの合成について、一連のプロセスを省略している可能性がある。→ 十分な説明だけでなく、誤った説明を行う
• 化学反応に関する知識がないところが問題かも

---

4.化学/材料情報学(Cheminformatics and materials informatics)

• GPT4の期待は高い。これは人間活動が言語を用いておこなわれているため

名前とSMILESの変換

• 化合物名と組成式(SMILES)の変換を試みる。トルエンなど有名な物質は変換可能。少し複雑な構造に対してはまだ難しい。
• SMILES -> 名前についてもまだ基本的なものしか変換できない

Reasoning

• 推論問題への応用を考える。ここでは、事象の予測や推論を行いたい。
• きちんとの推論はまだ。分子構造を正しく把握させることが大事そう。

特性予測 (Property prediction)

• ワンショットを与えることで、未知の化合物に対して学習を試みる
  • TEMPOの酸化還元電位をoneshotとして提示。その後予測をしてもらう。
  • 比較的に推論ができた。
• oneshotで予測ができることはとてもすごい
• 完璧ではなく、間違っているところも多々ある。

Planing (最適化-1変数)

• 研究プロセスを自動化を行うために、予測モデルを作るだけでなく、実験すべき条件についても提案して欲しい
• 対抗手法としてはベイス最適とかで変数の決定がある。
• GPT-4によって、変数の意味を提示することで、変数を探索する。
  • ベイズ最適化と比べGPT-4は少ない探索で最適な変数を見つけられた
• プロンプト：Wolframプラグインを用いて、求めた。(Prompt S13)

Planing (最適化-複数変数)

• 実験が複数あるものに対して変数の最適化を試みる
• 物理化学の知識があるGPT-4は初期条件を適切に設定できた。(Propt S20)
  • ベイズ最適だと10-15回ぐらい必要

Planning (ブラックボックス最適化)

• 非線形なブラックボックス関数（eq2）を最適化することを試みる
  • GPT-4の物理化学領域知識を利用することを期待している。

Planing (分子探索)

• 複雑な化合物の最適化を試みる。
• これまでのデータベースを活用することで、計算上生成可能な構造を特定することが容易
  • 実際の実験で行うと様々な制約があり、全てが現実的ではない。

ロボットアームの指示

• ロボットアームを維持するコマンド文を生成。
• プロンプト：引数、条件、やりたいことを記入(Prompt S23)
  • pythonでのプログラム分を出力。一度の操作で1ml（全体では3ml必要）なときに、3度行うことを自動的に推論

LLMによる自律的な研究

• これまでのものを組み合わせてLLMによって自律的な研究をおこなう

コメント

次はなに読む？