数据挖掘海量数据答案

【问题标题】：Data mine a huge amount of data数据挖掘海量数据
【发布时间】：2012-03-29 08:53:05
【问题描述】：

我在 MySQL 数据库中存储了大量报告元素。这些元素以简单的方式存储：

KindOfEvent;FromCountry;FromGroupOfUser;FromUser;CreationDate

所有这些报告元素都应允许从不同的角度显示图表。我已经尝试使用 SQL 请求，但它对用户来说非常慢。由于此图表将由非技术用户使用，因此我需要一个工具来预先处理结果。我对所有这些数据挖掘、报告、olap 概念都很陌生。如果您知道一种不那么耗时的实用方法或一种工具，那将有所帮助！

【问题讨论】：

嗯，到目前为止，您还没有提到任何数据挖掘，只是您正在使用 SQL 查询数据库，这对您来说太慢了......
巨额是什么意思？图表是指图表/图表吗？
抱歉措辞不好。我的意思是图表和图表以及“工具”。我现在在看 hadoop
你能告诉我们更多关于你想做什么的细节吗？

标签： reporting data-mining business-intelligence

【解决方案1】：

您可以在 MySQL 数据之上设置OLAP cubes。多维模型将帮助您的用户通过 Excel 或 Web 仪表板浏览和分析数据。 icCube 特有的一件事是它能够集成任何 Javascript 图表库并将仪表板嵌入到您自己的页面中。

【讨论】：

【解决方案2】：

我对 DB 不熟悉，但我认为 MySQL 足以解决您的问题。设计良好的索引或事务将加快查询过程。

【讨论】：

【解决方案3】：

我不是数据库专家，但如果你想处理图，你可以使用 Neo4J（java 图处理框架），或 SNAP（C++ 图处理框架），或员工云计算，如果可能的话。我会推荐 Hadoop (MapReduce) 或 Giraph (云图处理)。对于图形显示，您可以使用适合您的任何工具。当然，“最好的”技术取决于数据大小。如果以上都不适合您，请尝试在 wiki 页面上查找相关内容：http://en.wikipedia.org/wiki/Graph_database

InforGrid (http://infogrid.org/trac/) 看起来可能适合您。

【讨论】：