将 SQL 数据库（比如 1 个表）转换为 mongoDB 文档的最佳方法是什么？
我想我可以使用 C# 驱动程序并实现一个循环，它选择表中的每一行并将其保存在 Mongo 中。但是，我正在寻找一种更好的方法来转换大量数据。
【问题讨论】：
这是我用于将数据从 SQL 服务器导入到位于我的盒子上的 Mongodb 的导入脚本。 这段代码只会在 MongoDB 中创建一个类似的表（存在于 SQL DB 中）。 您可以提供要以逗号分隔的表格列表导入，所有这些都可以毫无问题地导入。
static void Main(string[] args)
{
List<string> tablelist = new List<string>();
if (!args[0].Contains(','))
tablelist.Add(args[0]);
else
tablelist.AddRange(args[0].Split(','));
string sqlconnectionstring = ConfigurationManager.ConnectionStrings["ConnectionString"].ToString();
var connectionString = "mongodb://localhost/?safe=true;w=1;wtimeout=30s";
var safemode = SafeMode.True;
MongoServer server = MongoServer.Create(connectionString);
MongoDatabase db = server.GetDatabase("testdb");
MongoCollection<MongoDB.Bson.BsonDocument> coll = db.GetCollection<BsonDocument>("test");
//coll.Find().Count();
int i = 0;
foreach (string table in tablelist)
{
using (SqlConnection conn = new SqlConnection(sqlconnectionstring))
{
string query = "select * from " + table;
using (SqlCommand cmd = new SqlCommand(query, conn))
{
/// Delete the MongoDb Collection first to proceed with data insertion
if (db.CollectionExists(table))
{
MongoCollection<BsonDocument> collection = db.GetCollection<BsonDocument>(table);
collection.Drop();
}
conn.Open();
SqlDataReader reader = cmd.ExecuteReader();
List<BsonDocument> bsonlist = new List<BsonDocument>(1000);
while (reader.Read())
{
if (i == 1000)
{
using (server.RequestStart(db))
{
//MongoCollection<MongoDB.Bson.BsonDocument>
coll = db.GetCollection<BsonDocument>(table);
coll.InsertBatch(bsonlist);
bsonlist.RemoveRange(0, bsonlist.Count);
}
i = 0;
}
++i;
BsonDocument bson = new BsonDocument();
for (int j = 0; j < reader.FieldCount; j++)
{
if (reader[j].GetType() == typeof(String))
bson.Add(new BsonElement(reader.GetName(j), reader[j].ToString()));
else if ((reader[j].GetType() == typeof(Int32)))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetInt32(j))));
}
else if (reader[j].GetType() == typeof(Int16))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetInt16(j))));
}
else if (reader[j].GetType() == typeof(Int64))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetInt64(j))));
}
else if (reader[j].GetType() == typeof(float))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetFloat(j))));
}
else if (reader[j].GetType() == typeof(Double))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetDouble(j))));
}
else if (reader[j].GetType() == typeof(DateTime))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetDateTime(j))));
}
else if (reader[j].GetType() == typeof(Guid))
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetGuid(j))));
else if (reader[j].GetType() == typeof(Boolean))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetBoolean(j))));
}
else if (reader[j].GetType() == typeof(DBNull))
{
bson.Add(new BsonElement(reader.GetName(j), BsonNull.Value));
}
else if (reader[j].GetType() == typeof(Byte))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader.GetByte(j))));
}
else if (reader[j].GetType() == typeof(Byte[]))
{
bson.Add(new BsonElement(reader.GetName(j), BsonValue.Create(reader[j] as Byte[])));
}
else
throw new Exception();
}
bsonlist.Add(bson);
}
if (i > 0)
{
using (server.RequestStart(db))
{
//MongoCollection<MongoDB.Bson.BsonDocument>
coll = db.GetCollection<BsonDocument>(table);
coll.InsertBatch(bsonlist);
bsonlist.RemoveRange(0, bsonlist.Count);
}
i = 0;
}
}
}
}
}
【讨论】：
驱动方式是 FAR 最直接的方式。导入/导出工具非常棒，但仅当您将它们成对使用时。如果您的表包含日期并且您尝试从 db 导出并导入到 mongo，那么您将大吃一惊。
你也很幸运，在 c# 中。我们正在使用 ruby，并且有一个 3200 万行的表，我们迁移到了 mongo。我们的最终解决方案是在 postgres 中制作一个疯狂的 sql 语句，该语句输出 json（包括一些使日期正常运行的非常笨拙的东西）并将命令行上该查询的输出通过管道传输到 mongoimport。写了令人难以置信的令人沮丧的一天，而且不是那种可以真正改变的东西。
因此，如果您可以摆脱它，请使用带有 mongo 驱动程序的 ado.net。如果没有，我祝你好运:-)
（请注意，这是来自一个完全的 mongo fanboi）
【讨论】：
我必须为此创建工具。 它使用 bcp.exe 将数据导出为 xml，然后使用 Newtonsoft JSON.NET 将其转换为 json，然后使用 mongoimport 将其导入。用了不到一天的时间，但不支持日期。
下面的一些代码（非常未清理：）
bcp.exe 使用如下语法： bcp.exe "SELECT * from GeoData.dbo.Airports FOR XML RAW('Row'),ROOT('Root'),ELEMENTS" queryout D:\TEMP\tmp1045.tmp -Uxxxx -Pxxxx -Sxxxx -w -r " " -q
json:
var r=XmlReader.Create("file://D:/1.xml");
XmlDocument xdoc=new XmlDocument();
xdoc.Load(r);
string result="";
//o["Root"]["Airport"];
foreach(XmlNode n in xdoc.ChildNodes[0]){
var rr= JsonConvert.SerializeXmlNode(n);
JObject o=JObject.Parse(rr);
var co=o.Children().Children().First();
foreach (JToken c in co.Children().Where(cc=>cc.Type==JTokenType.Property).ToList()){
var prop=c as JProperty;
double d;
if (double.TryParse(co[prop.Name].Value<string>(),out d))
{
co[prop.Name] = d;
}
//c.Value<string>().Dump();
//c.Value<string>().Dump();
//co[c.Name]
}
//co["APT_Latitude"].Value<decimal>().Dump();
result=result + co.ToString(Newtonsoft.Json.Formatting.None)+"\r\n";
}
File.WriteAllText("D:/1.json",result);
//result.Dump();
蒙古进口： D:\MongoDB\mongoimport.exe -c "test" -d "MongoStatic" 1.json >1
【讨论】：
如果你喜欢玩 Ruby，我制作了一个可以帮助你做到这一点的 gem：http://mongify.com/。
源码可以找到：https://github.com/anlek/mongify/
非常简单直接地定义您的架构以及它应该如何转换为 mongodb。包括嵌入、重命名表、重命名字段和一堆其他选项。
【讨论】：
Norm 和 samus c# mongo 驱动程序都支持作为文档传递的强类型类。意味着它像 Nhiberbate 和 LINQ to SQL 一样酷。
所以我的想法是，您可以使用 LINQ to SQL 在 c# 中创建一个实体（表示表的类）以从 sql server 检索数据，并且您可以使用相同的强类型类插入 mongo db。
确保您的类在任一字段中都应具有 mongo 标识符 属性（在 NoRM 中）。这是为文档生成唯一的 id。
【讨论】：