search

GENZITSU / UsefulMaterials

34 stars 0 forks source link

almost weekly useful materials - 06/06 - #151

Open GENZITSU opened 3 months ago

GENZITSU commented 3 months ago

公私共に多忙でろくに更新できていなかった...(すみません

GENZITSU commented 3 months ago

RAGのサービスをリリースして1年が経ちました

ChatGPTとIBM Watsonを組み合わせて構築したRAGアプリケーションを1年間提供してきて獲得したノウハウが紹介されているスライド

勉強になった点

スクリーンショット 2024-06-06 20 43 15

コメント

検索のための種々の調整で、どのような技術が用いられているかが特に勉強になった。 リランカー用の学習データを収集しているということは、embeddding/text検索部分は各社共通でrerankerだけチューニングしてる形だろうか・

出典

GENZITSU commented 3 months ago

ELYZA LLM for JP (デモ版)についての解説: (1) 70Bモデルの推論基盤

70Bモデルのデモサイトを公開しているELYZAがどのようにその基盤を構築しているかを解説しているブログ記事

LLMをサービングする上での需要な知見が詰まっている

アーキテクチャー

スクリーンショット 2024-06-06 21 43 12

SQSを用いて推論用インスタンスに推論リクエストを投げる

メッセージは暗号化されてやりとりされている。

SQSを用いて推論結果をstreamingで返すという謎テクノロジーが用いられている (次回のブログで紹介予定とのこと

スクリーンショット 2024-06-06 21 44 35

運用環境について

推論に用いるGPUは日本リージョンで安定的に使えるinf2.48xlargeを選択。L4も良いがinf2の方が早かったため

スクリーンショット 2024-06-06 21 46 48

Speculative Decoding

70Bで1tokenずつ生成させるのは速度的に辛いので、7Bモデルで数トークン生成させdraftを作成させる。 ここで用いる7Bモデルに何を選択するかの検証を実施

より質の高いdraftを作成するとスループットが上がるための比較

スクリーンショット 2024-06-06 21 50 20

その他のはまりどころ

コメント

とても実践的な内容で、はまりどころの共有もめちゃ助かる

出典

GENZITSU commented 2 months ago

LLMで議事録を作ってみた \~GPT-4o vs Gemini1.5 Pro vs Claude 3 Opus、三つ巴の戦い\~

表題の通り。

ginzaによるフィラー除去で利用プロンプトがのちに役立ちそうなのでメモ ginzaのフィラー除去は時間がかかる割にあまり除去できなかったらしいけど

スクリーンショット 2024-06-10 14 51 38

スクリーンショット 2024-06-10 14 51 45

コメント

システムプロンプトに指示を書くのはどうなんだろう...?

こういうガイドラインと違反しているが 東京都の生成AI活用事例集にツッコミを入れてみる

出典

GENZITSU commented 2 months ago

社内文書検索&QAシステムの RAG ではないところ

検索Q&Aシステムを提供する前に考えておきたい事項がピックアップされている

特に勉強になったところメモ

検索クエリのパターンを知る

スクリーンショット 2024-06-10 17 27 24

チャンクに付与する情報の選別

ファイルからテキストを抽出するライブラリはいくつかありますが、重要なのは 抽出したチャンクの属性値に対してどんな機能を持たせるか になると思います。

例えば、抽出したテキストは検索するために適切な粒度なのか（e.g. OCR テキストは検索に含めるべきなのか）、検索対象と取得対象はどう区別されるか、メタデータによるフィルタは可能か、ID 情報から親チャンクや隣接チャンクが取得可能か、ローカライズ結果を PDF 上にプロットするための空間位置情報は必要か、など検索対象から見えてくる検討事項は様々です。

UIでクエリの質を上げる

スクリーンショット 2024-06-10 17 29 15

ハルシネーション対策

スクリーンショット 2024-06-10 17 30 02

コメント

UIでクエリの質を担保させる仕組みは大事そう。ただ、ある程度使ってもらわないとどんなクエリに書き換えるべきかのログがたまらない？(高速なLLMがあればユーザーの入力に応じて書き換え結果を表示とかできるか？

出典

GENZITSU commented 2 months ago

AI導入で企業が挫折するのはなぜ？―AI「以外」の壁にどう立ち向かうか

AI導入を企業が進めていく上での3つのハードルとその乗り越え方について説明しているブログ

以下心に響いた内容を抜粋

1.業務プロセスの壁

「大規模言語モデルにはハルシネーションがあるから、まだまだ業務に取り入れられない」というフレーズを耳にします。これは一見すると「AIそのものの技術的な問題」を指しているように思えます。しかし、突き詰めて考えていくと、実は「業務プロセスを変えられない」という真の問題が背後にある

AIの精度問題は言い換えると業務プロセスを技術に合わせて変えられないという問題である (低すぎる精度は問題外だが

スクリーンショット 2024-06-11 13 55 13

AIを業務に組み込む際のポイントは「AI単体の精度」でなく「業務プロセス全体の生産性」を評価することに尽きます。

私達は「機械は精度100%でなければ活用できない」というバイアスに、ついつい引きずられがちです。 こういったバイアスを壊し、業務プロセスそのものを組み替えられるかどうかが、AIによるメリットを享受するうえでの分岐点

2. 組織・カルチャーの壁

AIを用いた新しいツールで生産性を上げようと、声高に叫んでも多くの人はまず拒否反応を示す。これを古い人間と切り捨てても何も進まないので、カルチャーを変えていく他ない。

目指していきたいのは、全社員が抵抗感なく、AIを"自然と"利用するカルチャーです。 打ち手としては、結局のところ唯一の正解はなく、

  • 力学を生み出すKPIとインセンティブの設定
  • 組織全体の熱量を高めるカルチャー施策
  • 熱量あるAI推進リーダーを呼び込む採用戦略・パートナー戦略

3.ビジネスモデルの壁

現行のビジネスモデルを採用している限り、AIの導入に後ろ向きにならざるを得ないケースの存在。 ex. 人月ビジネスなので、工数削減は望ましくない。人がやっていることこそが価値の源泉とみなされている

こういうのはPRJの担当者やAI推進室の人レイヤーではどうしようもないので、経営層からのトップダウンの決定が必要

経営者が「AIについて調べて、一番いいやつを社内導入しといて」と右腕的なポジションの方に丸投げし、その方が現場と経営との板挟みで疲弊している…みたいな場面をよく見かけます。それもそのはずで、このビジネスモデルの組み換えはトップにしかできない意思決定です。トップによる強い意思決定こそが、「ビジネスモデルの壁」を壊す唯一にして無二の手段だと言えます。

コメント

至言である。

出典