[q-implant] Inherit predecessor Quantization Parameter for operators …

[ssafyWooJeong]

…that can be added while model conversion

Operators(such as transpose) can be added to model while conversion. Those operators are not present at original model, so corresponding quantization parameter could not exist on qparam.json. For those operators, inherit predecessor's quantization parameter to make appropriate graph.

ONE-DCO-1.0-Signed-off-by: WooJeong Jeong wj6349@gmail.com

[FantBlog]

input.circle 에는 있는 op인데 qparam.json에 존재하지 않는 op일 경우에 상속? 을 받아서 처리를 해준다는 건가요?

[0minyoung0]

For those operators, inherit predecessor's quantization parameter to make appropriate graph.

I think 'share' would be more appropriate than 'inherit'!

[ssafyWooJeong]

input.circle 에는 있는 op인데 qparam.json에 존재하지 않는 op일 경우에 상속? 을 받아서 처리를 해준다는 건가요?

비슷하기는 한데, Transpose나 Reshape 이런 건 Model 변환 과정에서 추가될 수 있어서 원본 모델에는 존재하지 않고 변환 된 Circle 내에만 존재하는 Operator 일 수 있는데, 그 경우에는 원본 모델에 존재하지 않아 qparam.json에 없을 수 밖에 없어요.

q-implant 이후에 float가 남으면 luci IR 구조 자체가 invalid 해서 error가 발생해서 Model 변환에서 생긴 Operator에도 quantization parameter를 넣어 줘야하는데,

1) Graph를 따라서 내려가다가, Node의 자식을 확인해서 자식에게 Quantization Parameter가 존재하지 않는지 확인하고 2) Quantization Parameter가 존재하지 않는데, Model 변환 과정에서 생길 수 있는 Operator면, 변환에서 생긴 Operator임으로 Quantization Parameter가 qparam.json에 없다는 것을 가정해서 predecessor의 quantization parameter를 넣어줍니다. 3) Reshape과 같이 해당하는 Operator가 원본 모델에도 존재하면, qparam.json 내에 이미 존재함으로 predecessor의 quantization parameter를 사용하지 않게 됩니다.

[FantBlog]

원본 모델에는 존재하지 않고 변환 된 Circle 내에만 존재하는 Operator 일 수 있는데,

원본 모델은 tflite 모델인가요?

[ssafyWooJeong]

What

We want to introduce the quantization parameter sharing with precessor node, which could be added while model conversion into the q-implant module.

Why

• Some Operators(like reshape, split and etc..) can be added while model conversion step. Even some operators added by conversion, qparam.json can't have corresponding value because the original model don't contain them.
• When we implant quantization parameter into circle, all node of quantized Circle/IR Graph dtype must not be float and have appropriate quantization parameter.

How

• For those operators which are added during conversion and don't have value, quantization parameter would be same with precessor. (Because it was originally same)
• After implanting quantization parameter, check all nodes from input to ouput whether the node can share it's quantization parameter with successor or not. It shares quantization parameter when the successor doesn't have it and successor opcode belong to addable_opcode.

Question

• appendable_operator_opcode represents opcode of operators which can be added during model conversion. Does you think the name represent it well? Or could you recommend better one?
• For now, we put only concat, reshape, split, transpose. Is any other operator come up with in mind now?

[ssafyWooJeong]

원본 모델은 tflite 모델인가요?

tflite는 circle이랑 호환 됨으로, Tensorflow model이나 tflite model은 q-implant 사용 자체를 가정하고 있지 않아요..