2018: PyText: A Seamless Path from NLP research to production

PyText: A Seamless Path from NLP research to production Ahmed Aly, Kushal Lakhotia, Shicong Zhao, Mrinal Mohit, Barlas Oguz, Abhinav Arora, Sonal Gupta, Christopher Dewan, Stef Nelson-Lindall, Rushin Shah
https://arxiv.org/abs/1812.08729 Blog: https://code.fb.com/ai-research/pytext-open-source-nlp-framework/ Github: https://github.com/facebookresearch/pytext Doc: https://pytext-pytext.readthedocs-hosted.com/en/latest/

概要

DNNベースのNLPをモデル化するためのPyTorchベースのフレームワークPyTextの紹介．experimentationとproductionの両場面に対して，モデルコンポーネントのシンプルで拡張できるインタフェースと，最適化されたCaffe2の実行エンジンを通してモデルのエキスポートができる．PyTextによってexperimentationとproductionのワークフローをPyTextを通して行うことにより，優れたモデルアイデアをすばやく作り，productionフェーズにシームレスに持っていくことができる．

イントロ

ニューラルネットを作るにあたって，experimentationとproductionには要件のギャップがある．Define by Runのフレームワーク（PyTorch，TensorFlow Eager，Chainer）とかは動的グラフが作れて開発やデバッグが行いやすいが，推論時のオーバーヘッドが大きく，production時には課題となる．静的グラフを構築するDefine and Run形式のCaffe2やTensorflowでは，使うのが大変であり，実験期間は長くなる．NLPのモデルは動的であることが多く，静的グラフではなかなか難しい．

そこでPyTextはPyTorch 1.0を使って，下記の達成を狙っている．

新しいもモデルのアイデアを簡単に早く実験できる
最小限の負荷でビルド済みモデルを簡単に利用できる
研究者とエンジニアがビルド，評価するにあたってクリアなワークフローを定義し，最小限のコストでプロダクションにモデルを展開できる
デプロイしたモデルの推論時に高いパフォーマンスを保証する（低遅延，高スループット）

他のフレームワークもあるが，欠点がある．

CoreNLP: ニューラルネットのサポートが弱い
AllenNLP and FLAIR: プロトには良いが，プロダクションが難しい（pythonであるため，大規模リクエストとか実行時間とかマルチスレッドとかが弱い）
Spacy 2.0: SotaなNLPモデルが使えたりするが，新しいモデルのクイックプロトには向いていない

フレームワークデザイン

PyTextでは，データハンドリング，メトリクスのレポート，学習方法，など自由にカスタムできる．またコンポーネントを自由に追加してもよいし，人気のタスクにおいてはそのまま使えるパイプラインがいくつか用意されている

コンポーネント

PyTextのすべてはコンポーネントからなる．コンポーネントはパラメタによって定義される．

現在は下記のコンポーネントがある．

Task 学習あるいは推論のために必要な様々なコンポーネントからなる．下記が文書分類タスクにおけるコンフィグファイル（json）．すべての子コンポーネントに対するパラメタを定義している．
Data Handler 生データを処理し，テンソルのバッチデータを準備してモデルにフィードする．
Model モデル構造の定義
Optimizer ロスからのモデル最適化を行う
Metric Reporter メトリクス計算（precisionとか）を実装し，レポートを行う
Trainer Data Handler，Modelを利用し，学習を行う．またホールドアウトのセットに対してバリデーションを行い，モデル選択も行う
Predictor Data HandlerとModelを利用して，与えられたテストデータに対する推論を行う
Exporter PyTorchで学習したモデルを，ONNX（Open Neural Network Exchange）を利用して，Caffe2グラフへエキスポートする

データオーバービュー

TrainとPredictの2モードがある．Trainでは，Data Handlerを通してバッチを生成し，学習と評価を行える．その後，学習モデルはPyTorchフォーマットでシリアライズされ，静的なCaffe2グラフにも変換できる．Predictでは学習済みモデルを読み込み，与えられたテストデータに対する予測を行う．

モデリングサポート

用語

Module どのようなモデルが使われているかという知識不要の再利用可能コンポーネント．明確に入出力のインタフェースが定義されており，他モジュールやモデルに接続できる
Model one-to-oneのマップを行う．各モデルはModuleの組み合わせからなり，学習や予測ジョブを実行する

モデル概要

モデルを，Token Embedding，Represenatation，Decoder，Output layersに分割した．各Moduleは保存可能で，Module毎に他モデルから再利用できたりする．それぞれ説明していく

Token Embedding 各トークンに対して，ベクトル埋め込みのバッチを獲得する．いくつかのスタイルの埋め込みを利用でき，設定できる．学習済み単語埋め込み，やCNNとhighway networksを使ったものだったり（Kim 2016），学習済みcontextual character-based （ELMo），地理情報，形態素情報など．
Representation 埋め込みトークンを入力として，タスクに合わせた表現を獲得する．BiLSTMやCNNを利用したものがある
Decoder Representationを入力として受け取りlogitを生成．
Output Layer 生成した予測とロスを考慮する

これらのmodulesはベースの実装から構成されており，簡単に拡張できる

マルチタスクモデル学習

マルチタスク学習もサポートする（Joint Learning）．Modules間でパラメタ共有ができる．マルチタスクにおいて下記を想定している．

n個のタスクがある場合，n個のデータソースを指定する．
マルチタスク設定で再利用するためには，シングルタスクのシナリオで実装されている必要がある

マルチタスクモデルの例

Figure 3には文を入力して，文書のクラス予測と文に対するタギングする例．

Figure 4には，query-documentの関係性を学習するタスク．個別にqueryとdocumentの分類タスクを行うことで，学習表現のロバスト性を向上させることができる．

Model Zoo

PyTextはNLPに特化．サポートしているモデルの種類を以下の通り．

テキスト分類文や文書を適切なカテゴリに分類する．BiLSTM，Self-attention，CNNなどをサポート
ワードタギング文などのシーケンスに対してラベル付を行う．POSタギング，NER，Slot Fillingなど．スロットアテンション付きBiLSTM，Bidirectional Sequential CNNなどサポート
Semantic Parsing（意味解析）自然言語をその意味に沿った表現フォーマットに変換する（例：天気教えて→WEATHER-CHECK）．Recurrent Neural Network Grammarsなどをサポート
言語モデル言語生成などに利用される．Stacked LSTM言語モデルなど採用
ジョイントモデル上記モデルをJoint learningできる．

Production Workflow

From Idea to Production

上記ステップに沿って，アイデアからProductionへと移行できる．大まかな流れとして，まずPyTextでモデルを実装し，オフラインのテストデータで様子を見る．そして，PyTorchベースの推論サービスをpublishし，小規模でライブトラフィックのデータで評価．次に自動でそのモデルをCaffe2のネットに出力．操作フローが複雑だったり，カスタムなデータ構造によってPyTorch 1.0経由による変換はサポートされていない場合がある．そういったときはPyTorch C++ APIを利用し，torch.nn.Moduleというクラスを書き直し，Caffe2オペレーターにラップできるようにする．そして，モデルをCaffe2のprediction serviceとして，publishし，ライブトラフィックを捌くようにする

ベンチマーク

PythonとC++モデル（Caffe2エキスポート済みモデル or PyTorch C++ APIで書き直されたもの）を比べた．実験は，CPUのみのマシンで行った．JointBiLSTMにおいては，劇的に改善．RNNGにおいては，わずかに改善．しかしproductionの環境においてPythonがサポートされていないことも多いので，十分に有用．

Production Challenges

データの前処理

PyTorchの1つの制約に，文字テンソルをサポートしていないことがある，つまり，文字操作やindexingは，モデルの外で行う必要がある．そこでC++の特徴化ライブラリ（現在はPyTextのオープンソースリポジトリには含まれていない）を書いた．これはPybindでアクセス可能であり，Figure 6に示すように，ランタイムのサービスの一部として，推論時にも利用できる．このライブラリは生データを下記のように前処理する．

テキストのトーカナイズと正規化
character-basedなモデルの場合は，文字をIDにマッピングする
地理特徴量に対してトークンアラインメントを行う

下記のように特徴化ライブラリはTraining/Inferenceで共有される

語彙管理

モデル内で語彙の管理を行っていないという制約もある．下記の2つのソリューションを考えてみた

リモートにおける特徴化サービスを利用して語彙を管理する
モデルのexport後，Caffe2グラフを後処理し，その語彙をネットの前に追加する

我々は，2つ目の手法に最適化した．というのも，異なるユースケース及び言語において，学習時と推論時の語彙間における同期とバージョニングを維持するのは簡単ではないためである．// 🤔ここはこれしか書いていないのでよく分からない

Future Work

来るフィーチャーは多岐にわたる

Modeling Capabilities NLPのユースケースにより多く対応する（QA, Reading Comprehension, 要約タスク．多言語タスク）
パフォーマンスベンチマークと改善 PyTextのコアの目的は，スケーラビリティを失わずに，低遅延高スループットを目指すことである．半精度（16bit）のサポート，パフォーマンスのベンチマークと想定負荷に合わせた展開済みモデルのチューニングなど
Model Interpretability メトリクスの監視やモデルのデバッグのためのツールを追加することを予定している．TensorboardやVisdomのインテグレーション．LIMEやSHAPといったモデルの説明アプローチをいくつか実装する
Model Robustness 敵対的入力，ノイズ，文法や構文の違いから，モデルの性能は大きく下落することがある．そういった減少を解析分析するために，敵対的学習やデータオーグメンテーションなどをやろうとしている
モバイル開発サポートモバイルのための軽量なモデルのサポートも考えている．（caffe2である模様）

結論

DNNベースのNLPのモデリングのためのPyTextを紹介．PyTextはPyTorch上で動作し，開発時とデプロイ時のギャップを埋めることを目的としている．アイデアをいち早く解決し，そこからシームレスに実サービスへのデプロイを静的グラフであるCaffe2モデルにexportできる．またカスタムも可能で，拡張性もある

デプロイ時の最適化は，そのあたりのスキルがある人が限られているので，モデルの再利用（異なるプラットフォーム含めて），シームレス・デプロイは今年より注目されるテーマになりそう
タスク定義（json）でどの程度，自由にモデル化できるかは今後に期待．こういったフレームワークは，サンプルを動かす分にはいいけど，たいていの人はそれなりにカスタムしたモデルやデータを作るので，このあたりの拡張性は自分の学習コストとうまくトレードオフを見極める必要がありそう

参考

Define by Run ニューラルネットの構築をデータを流しながら行う．動的ネットを構築でき，モデルのデバッグも行いやすい．反面，グラフを構成するのが動的のためその分のオーバーヘッドがかかり，計算の最適化も行いにくい
Define and Run ニューラルネットを構築してから，そこにデータを流す

jojonki / arXivNotes