TF Serving — сервис для загрузки SavedModel и обслуживания gRPC/REST инференса с версионированием моделей.
Разбор
- Горячая подмена версий модели.
- Batching на стороне сервера.
- Конфиг model_config_list для нескольких моделей.
- Нужны стабильные сигнатуры входов.
Итог
Serving достаёт SavedModel в сетевой inference API.