【发布时间】：2017-07-29 23:01:57
【问题描述】：
我目前正在研究一个机器学习问题，并在 Dev 环境中创建了一个模型，其中数据集低到几十万。如何将模型传输到生产环境，其中数据集非常大，大约数十亿。
是否有任何通用的推荐方法来传输机器学习模型？
【问题讨论】：
标签： machine-learning
【发布时间】：2017-07-29 23:01:57
【问题描述】：
取决于您使用的开发平台。我知道 DL4J 使用 Hadoop 超参数服务器。我用 C++ 编写我的 ML 程序并使用我自己生成的数据，TensorFlow 和其他人使用使用 Python 压缩和解包的数据。对于实时数据，我建议使用 Boost 库之一，因为我发现它在处理大量 RT 数据时很有用，例如使用 OpenCV 进行图像处理。但我想必须有一组适合您的数据的等效库。 CSV 数据易于使用 C++ 或 Python 进行处理。实时 (Boost)、图像 (OpenCV)、csv (Python)，或者您可以编写一个程序，使用 Bash (Tricky) 将数据通过管道传输到您的程序中。您可以让它以某种方式缓冲数据，然后定期将数据提供给您的 ML 程序，然后检索数据并将其存储在 Mysql 数据库中。听起来您需要数据服务器或数据管理程序，因此 ML 算法只需处理其数据块。希望对您有所帮助。
【讨论】：