GENZITSU
commented
1 year ago SageMaker Serverless Inferenceも使っているNewsPicksの機械学習システムの構成を紹介します！
NewsPicks内で実践されている機械学習の学習/推論システムの構成が紹介されている。
モデルの学習は独自のdocker imageを用いたSageMakerのtraining jobを利用している。
この構成にすることで、モデルの学習処理はpythonスクリプトで管理され、学習の実行もローカル環境からスクリプトを叩くことで実行できるようになる。
モデルの出力先はs3://trained-models/{Training Job Name}/output/model.tar.gzという形式になるので注意が必要。
推論用エンドポイントのデプロイにはSageMakerのserverless inferenceに推論用docker imageと学習済みモデルを取り込ませる形で実装している。
現状serverless inferenceはcpuのみにしか対応していないが、常時推論コンテナを立てておく必要が無くなるので、コストはかなり削減される。
コメント
訓練コードがある程度固まってきたら、sagemaker training jobsの利用は候補に上がってきそう。
serverless inferenceはcpuのみの対応ということなので、GPU対応をまつ or モデルをcpu推論可能なくらい軽量化させるみたいなことが必要かも。
出典
SageMaker Serverless Inferenceも使っているNewsPicksの機械学習システムの構成を紹介します！
「理想のイケメン彼氏」が言うであろう胸キュンワードを何万ワードと手動で学習させた…!? ソニーの最先端AI技術が詰まった『束縛彼氏』は、AIに関するあらゆる問題を「イケメン彼氏が束縛してくる」という強力なコンセプトで一挙解決した画期的な作品だった
イケメンAI彼氏との対話を楽しむ「束縛彼氏」の制作秘話が面白かった。
開発の進め方
家電製品を音声で操作することを目標にR&Dセンターが主体となって研究していた音声認識、発話解析などが技術の母体
AI側から話しかけることで対話の内容を制限する & 恋愛シミュレーションということで多少変な会話が混ざってもOKということが技術的なハードルを下げている。
プロジェクトのスタートはパブリックな会話データから開発をスタート。
恋愛にまつわる受け答えは、女性開発者が理想の受け答えを何万パターンも作成し、プロのライターが書き直し、再度女性開発者が監修するというサイクルで、理想的な対話を集めて行ったとのこと。
プロトタイプのAIを開発し、そのAIの出力結果を矯正していく形でデータを収集
キャラクターの個性を踏まえた上でのルールベース処理
ユーザーが自殺をほのめかすような対話を入れたときに、AIが相槌を売ってしまったり、後押しをしてしまうと、企業としては問題になりかねないので、特別なルール処理を実装。
一方で、死ぬほど面白いといったように形容詞的に「死ぬ」が使われることもあるので、そことの判別は難しい。
今回のキャラクターは医師ということで、「死」に敏感であるという設定の元、「冗談でもそんなこと言わないで」と返すように実装しているとのこと。
技術的に困難なところ、キャラクターでうまくカバーしている例。
自殺系以外のセンシティブな話題にたいしても、キャラクターとして一貫性をもせることで倫理的な問題をカバーしている。
彼氏の生活スケジュールを設定することで、無制限の会話を抑制。
ユーザーがAIと会話をしすぎてもサーバー代が嵩んでしまうので、課金要素を追加。
会話ができない時間は、彼氏が仕事中 / 就寝中、お風呂に入っていたなどの設定となっている。
コメント
汎用的な対話AIではなく、イケメン、彼氏、恋愛という設定を設けることで対話AIが持つ技術的な困難さを緩和できているのが斬新だった。
エンタメ系だからこそ成り立つところではあるが、実務でもある程度の制限を設けるべきところは設けていかないとダメなのかもしれない。
出典
「理想のイケメン彼氏」が言うであろう胸キュンワードを何万ワードと手動で学習させた…!? ソニーの最先端AI技術が詰まった『束縛彼氏』は、AIに関するあらゆる問題を「イケメン彼氏が束縛してくる」という強力なコンセプトで一挙解決した画期的な作品だった