Respecto a la carga del modelo totalmente de acuerdo en lo que comentas. Hay que optimizar al maximo. He encontrado estos comentarios en internet que igual te pueden dar alguna nueva idea:
How do I host a model?
There are multiple ways to host a model. You can create a Restful API with Tensorflow Serving or by creating your own websites. You can also integrate the model into a website by transforming your model to Tensorflow Lite.
Tensorflow serving - https://github.com/tensorflow/serving
Tensorflow Lite - https://www.tensorflow.org/lite/convert
Respecto a la carga del modelo totalmente de acuerdo en lo que comentas. Hay que optimizar al maximo. He encontrado estos comentarios en internet que igual te pueden dar alguna nueva idea: