モデルサーバーの追加

Model Serverを追加した

フィードバックで得たものはIssue化する。一旦通しでdockerが動いたこのバージョンでv0.0.2のタグを切る。

[x] baseイメージの追加、buildx bake baseで実行する
[x] traceイメージの追加、buildx bake traceで実行する、ptファイルの生成
[x] model serverイメージの追加、buildx bake modelで実行する、ptファイルを取り込んでAPIサーバを立てる
[x] ECRレポジトリは既に存在する前提でpushするスクリプトを準備
[ ] 現状の作りだとtraceが修正しづらいのでNotebookから修正できるようにする, S3にptを配置する -> Issue化
[x] Deep Learning用のコンテナを利用する方が簡潔に作れる -> Issue化
[ ] ベンチマークの仕組みを入れる -> Issue化

使い方

docker buildx bake base && docker buildx bake trace && docker  buildx bake model
./run-model-server.sh

私は[MASK]へ行く、という感じでmasked_indexで指定した部分がマスクされる。

# リクエストのテスト
curl -X 'POST' \
  'http://localhost/inferences' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "text": "私は東京へ行く",
  "mask_index": 3
}'

app/main.pyがmodel serverのコード

.
├── app
│   ├── main.py
│   ├── requirements.txt
│   └── run.sh

littlemex / inference-samples

モデルサーバーの追加 #8