【问题标题】:Best practices - Big data with mysql最佳实践 - 使用 mysql 的大数据
【发布时间】:2021-08-22 07:37:18
【问题描述】:

我有一个在云基础架构上运行并使用 MySQL 数据库的视频监控项目。

我们现在正在将一些人工智能集成到我们的项目中,包括人脸识别、车牌识别、标签搜索等。这意味着每天都有大量数据

所有照片以及通过图像处理算法从这些照片中导出的图像都存储在云存储中,但它们的引用和标签存储在数据库中。

我一直在考虑最好的集成方式,我必须坚持使用 MySQL 还是使用其他系统。我想到的不同选项是:

1- 使用另一个数据库 MongoDB 来存储照片参考和标签。这将花费我另一台数据库服务器,以及与现有 MySQL 服务器的新数据库系统的集成

2- 使用弹性搜索来检索数据并执行标签搜索。这导致质疑MySql存储这么多数据的能力

3- 纯粹坚持使用 MySQL,但会不会影响用户体验?

您会指导我选择最佳方案还是给我另一个建议?

编辑:

更多信息: 实物图片存储在云存储中,只有 URL 存储在数据库中。 在数据库中,我们将存储图片的元数据,例如 id、客户端的 id、URL、标签、创建日期等...

操作属于以下类型: 它通常是基于不同条件和标签搜索的 SELECTs

数据有多大? 想象一下,一个摄像头放置在户外的街道上,每次检测到人脸时都会发送一张图像。

想象一下,成千上万的摄像机正在这样做。然后,我们谈论的是每个客户有数百万张图片。

【问题讨论】:

  • 我投票结束这个问题,因为虽然这是一个有效的问题,但我认为它的范围太广了

标签: mysql elasticsearch tags bigdata text-search


【解决方案1】:

MySQL 可以处理数十亿行。您没有提供足够的其他信息来评论您的其余问题。

大型 blob(图像、视频等)可能最好由一些大型、廉价的存储来处理。然后,正如您所说,blob 的 URL 将存储在数据库中。

多少行?插入频率如何?一些想要的 SELECT 语句?它主要只是写入数据库吗?或者您会有大型、复杂的查询?

【讨论】:

  • 感谢回复,我在编辑部分回复了
  • @blue - 图像的存储空间将是“大”的。在数据库中存储元数据将不是问题。搜索可能是个问题;有高效的搜索和低效的搜索。
猜你喜欢
  • 2021-07-26
  • 2013-06-30
  • 1970-01-01
  • 1970-01-01
  • 2010-11-06
  • 2012-05-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多