有没有办法将大量数据输入 Firebase Firestore 数据库

Question

我正在尝试将大量数据（1300 万行）输入 Firebase Firestore，但需要很长时间才能完成。

目前，我正在使用python逐行插入数据，我尝试使用multi-treading，但仍然很慢，效率不高（我必须保持连接到互联网）

那么，是否有另一种方法可以将文件插入 Firebase（一种更有效的（批量）插入数据的方法）？

这是数据格式

[
{
    '010045006031': {
                        'FName':'Ahmed',
                        'LName':'Aline'
                    }
},
{
    '010045006031': {
                        'FName':'Ali',
                        'LName':'Adel'
                    }
},
{
    '010045006031': {
                        'FName':'Osama',
                        'LName':'Luay'
                    }
}

]

这是我正在使用的代码

import firebase_admin
from firebase_admin import credentials, firestore



def Insert2DB(I):
     doc_ref = db.collection('DBCoolect').document(I['M'])
     doc_ref.set({"FirstName": I['FName'], "LastName": I['LName']}


cred = credentials.Certificate("ServiceAccountKey.json")

firebase_admin.initialize_app(cred)

db = firestore.client()

List = []
#List are read from File
List.append({'M': random(),'FName':'Ahmed','LName':'Aline'})
List.append({'M': random(),'FName':'Ali','LName':'Adel'})
List.append({'M': random(),'FName':'Osama','LName':'Luay'})


for item in List:
    Insert2DB(item)

非常感谢...

Answer 1

Firestore 不提供“批量更新”文档的任何方式。它们必须单独添加。有一个批量写入的工具，但是每批最多 500 个文档，这不太可能大大加快您的处理速度。

如果你想优化添加文档的速度，我建议阅读documentation on best practices for read and write operations 和designing for scale。然而，考虑到所有因素，实际上没有“快速”的方法可以将 1300 万份文档放入 Firestore。您将编写代码来单独添加每一个。 Firestore 未针对快速写入进行优化。它针对快速读取进行了优化。