事前調査

[long-long-float]

• Input

  • 学習済みモデル
  • onnx: 機械学習モデルのオープンフォーマット https://onnx.ai/
  • prototxt: Caffeの機械学習モデル
  • 今回はonnxを対象にする
  • 推論したいデータ(画像等)

• Output

  • Inputのモデルに従って推論したいデータを計算したデータ

• onnxは仕様が公開されている(https://github.com/onnx/onnx/blob/master/docs/IR.md )。また、protoファイルも公開されている(https://github.com/onnx/onnx/blob/master/onnx/onnx.proto )ので、これを使えば入力のモデルファイルを解釈することができる(はず)。

  • https://tkat0.github.io/posts/learn-onnx/

• とりあえずの目標は、Tiny YOLOv3(https://github.com/onnx/models/tree/master/vision/object_detection_segmentation/tiny-yolov3 )で物体検出をする。

[long-long-float]

Protocol Bufferコンパイラのインストール

https://github.com/protocolbuffers/protobuf/blob/master/src/README.md

今回はC++で作成するので protobuf-cpp-3.13.0.tar.gz をダウンロード

onnxのprotoファイルをコンパイル

# /onnxディレクトリで実行
$ protoc --cpp_out $HOME/git/mini-cnn-runtime/ onnx.proto3

[long-long-float]

Tiny YOLOv3は確認するには大きい気がしたので小さいモデルを作成する

MNISTモデルの作成 https://www.tensorflow.org/tutorials/images/cnn?hl=ja

学習済みモデルをファイルに保存 https://www.tensorflow.org/tutorials/keras/save_and_load?hl=ja#savedmodel_%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%83%E3%83%88%E3%81%A8%E3%81%97%E3%81%A6
以下、mnist_modelで保存したとする

保存したモデルをonnx形式に変換 https://github.com/onnx/tensorflow-onnx

python3 -m tf2onnx.convert --saved-model mnist_model --output mnist.onnx

[long-long-float]

コンパイル方法(後でMakefileにする)

$ clang++ main.cpp -I/usr/local/include -L/usr/local/lib -lprotobuf onnx.proto3.pb.cc