使用 pymongo 从 csv 插入数组

Question

我有一个 csv 文件，其中包含以下字符串格式的数组：

date,name,criteria
2018-05-16,John,"[{'age':35},{'birthyear':1983}]"
2018-05-16,Jane,"[{'age':36},{'birthyear':1982}]"

我正在使用 Python 和 pandas 和 numpy 来处理这个

我需要以下列格式将此文件导入 MongoDB 集合：

{
   "date":'2018-05-16',
   "name":"John",
   "criteria" : [
         {"age":35},
         {"birthyear" : 1983}
   ]
},
{
   "date":'2018-05-16',
   "name":"Jane",
   "criteria" : [
         {"age":36},
         {"birthyear" : 1982}
   ]
 }

`

我尝试使用 json formatter ，但插入 Mongodb 后，我得到的数组与 csv 文件中的相同。

我尝试了以下方法：

#Approach 1
import pymongo
from pymongo import MongoClient
import pandas as pd
import numpy as np
import json
from datetime import datetime

df = pd.read_csv("file.csv")
records = json.loads(df.T.to_json()).values()
db.tmp_collection.insert_many(data.to_dict('record'))



#Approach 2
import pymongo
from pymongo import MongoClient
import pandas as pd
import numpy as np
import json
from datetime import datetime

df = pd.read_csv("file.csv")
data_json = json.loads(df.to_json(orient='records'))
db.tmp_collection.insert_many(data_json)

两者都在 Mongodb 集合中给出以下输出：

{
"date" : "2018-05-16",
"name" : "John",
"criteria" : "[{age:35},{birthyear:1983}]"
}

你能推荐一些更好的方法吗？ 附言我是 Python 新手。

提前致谢。

Answer 1

如前所述，主要问题是criteria 的“字符串”中的 JSON“like”数据在键周围缺少引号。使用正确的引号，您可以将字符串解析为列表，数据的结构可以按照您的意愿进行。

您实际上可以在现有列表上运行 map 和 re.sub() 并将 criteria 替换为解析后的版本。

鉴于您所说的形式的源数据：

date,name,criteria
2018-05-16,John,"[{age:35},{birthyear:1983}]"
2018-05-16,Jane,"[{age:36},{birthyear:1982}]"

那么重要的部分是：

df = pd.read_csv("file.csv")
records = json.loads(df.to_json(orient='records'))

pattern = r"({|,)(?:\s*)(?:')?([A-Za-z_$\.][A-Za-z0-9_ \-\.$]*)(?:')?(?:\s*):"

records = map(lambda x:
  dict(x.items() +
    {
      'criteria': json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )
    }.items()
  ),
  records
)

这基本上是遍历列表中较早出现的每个项目，并对“字符串”进行替换以引用对象中的键。然后当然会将现在有效的 JSON 字符串解析为字典对象列表。

这将使数据如下：

[{u'criteria': [{u'age': 35}, {u'birthyear': 1983}],
  u'date': u'2018-05-16',
  u'name': u'John'},
 {u'criteria': [{u'age': 36}, {u'birthyear': 1982}],
  u'date': u'2018-05-16',
  u'name': u'Jane'}]

然后您可以将其传递给 insert_many() 以在集合中创建保持所需格式的文档。

db.tmp_collection.insert_many(records)

这里使用的正则表达式模式归因于regular expression to add double quotes around keys in javascript。

我个人会更进一步，至少解析为datetime：

records = map(lambda x:
  dict(x.items() +
    {
      'date': datetime.strptime(x['date'], '%Y-%m-%d'),
      'criteria': json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )
    }.items()
  ),
  records
)

MongoDB 将在插入集合时使用 BSON 日期，这比字符串有用得多。

再说一次，“我个人”不会在 MongoDB 列表中使用“命名键”。相反，我宁愿“重新映射”到更标准的东西，例如 "k" 和 "v"，如下所示：

records = map(lambda x:
  dict(x.items() +
    {
      'date': datetime.strptime(x['date'], '%Y-%m-%d'),
      'criteria':
      [i for s in map(lambda y: [{ 'k': k, 'v': v } for k,v, in y.iteritems()] , json.loads(
        re.sub(pattern, "\\1\"\\2\":", x['criteria'])
      )) for i in s]
    }.items()
  ),
  records
)

它给出了这样的结构：

[{u'criteria': [{'k': u'age', 'v': 35}, {'k': u'birthyear', 'v': 1983}],
  u'date': datetime.datetime(2018, 5, 16, 0, 0),
  u'name': u'John'},
 {u'criteria': [{'k': u'age', 'v': 36}, {'k': u'birthyear', 'v': 1982}],
  u'date': datetime.datetime(2018, 5, 16, 0, 0),
  u'name': u'Jane'}]

主要原因是如果路径更加一致，那么使用 MongoDB 进行“查询”将会更加有用。