监控模型
在这一步骤中， 你需要测试部署情况，以确保模型在测试数据中，仍然按照你的评估指标和推断速度等方面的指标来执行。
这一阶段中，常用的工具有：
Pachyderm, Algorithmia, Datarobot, Kubeflow, MLFlow - 可以帮助你对模型和pipeline军星部署和监控
Amazon Web Services，Google AutoML, Microsoft Azure - 这些是基于云的机器学习模型解决方案
评估新数据
在实际生产过程中使用训练好的模型，意味着你需要经常将从来没有在该模型上测试过的数据不断地输入到整个框架当中。
在这个过程中，有一些举措特别重要：1 用你指定的衡量指标对这些新数据进行评估 2 深入观察特别的例子，使用这些举措，你可以发现模型在新数据上的具体表现情况。
继续理解模型
模型中的一些误差和偏见可能是根深蒂固的，并且需要很长时间才能被发现。
在这个过程中，你需要不断测试和探索你的模型，以发现各种可能导致模型出现问题的边缘情况以及趋势，不然，这些问题就可能会被客户发现。
扩展功能
即使一切都很完美，模型也可能并没有给你带来预期中的利润。
有无数种方法可以扩展当前模型的功能：比如添加新类、开发新数据流以及提高现有模型的效率——这些举措都会使当前模型变得更好。
此外，只要想提升系统的性能，那么你都需要重新启动机器学习的生命周期，来更新数据和模型，并对其进行评估，以此来确保新的系统可以按照预期来顺利工作。谢富治简历
参考链接：
http://towardsdatascience.com/the-machine-learning-lifecycle-in-2021-473717c633bc
