在 Python 中将超过 65535 行写入 csv 文件？ [关闭]

Question

我在 Python 脚本中有以下逻辑：

def importAndAnalyze(rowLimit = 3):
    layerProperties = iface.addVectorLayer("Downloads/parcels-shp/parcels.shp", "Parcels", "ogr")
    if not layerProperties:
        print("layerProperties failed to load!")
    layerEntrances = iface.addVectorLayer("Downloads/Metro_Stations-shp/Metro_Stations.shp", "Metro_Stations", "ogr")
    if not layerEntrances:
        print("layerEntrances failed to load!")
    features = layerProperties.getFeatures()
    counter = 0
    featuresSelected = []
    Path('Desktop/output.csv').touch()

    with open('Desktop/output.csv', 'w') as csvfile:
        csvWriter = csv.writer(csvfile, delimiter=',', quotechar='"', quoting=csv.QUOTE_NONNUMERIC)
        csvWriter.writerow(['Tooltip', 'Lat','Lon', 'Distance'])
        for feature in features:
            if counter < rowLimit:
                csvWriter.writerow([feature['TOOLTIP'], feature.geometry().centroid().asPoint().y(),feature.geometry().centroid().asPoint().x(), Ranker.calculateDistance(feature, layerEntrances)])
                if counter % 100 == 0:
                    csvfile.flush()
            else:
                break
            counter += 1

Ranker.importAndAnalyze(1000000)

当我输入 800,000 行信息并将 rowLimit 变量设置为 100 万行时，它当前恰好将 65,535 行保存到 output.csv 文件中，然后停止保存新行，即使脚本继续运行数小时也是如此。

如何让我的脚本保存其他 734,465 行？

===

编辑：在 cmets/answers 中有很多关于我的 rowLimit 变量是否实际设置为一百万的正确猜测。所以我添加了更多代码来显示它是如何运行的上下文。

Answer 1

csv 模块本身没有施加这样的约束。当您的代码到达变量 rowLimit （您的问题中未定义）时，您的代码将停止写入，因此显而易见且简单的解决方案是将其取出。

这是一次重构的尝试，它还会重命名变量以符合 Python 约定。

with open('Desktop/output.csv', 'w') as csvfile:
    csv_writer = csv.writer(csvfile, delimiter=',', quotechar='"', quoting=csv.QUOTE_NONNUMERIC)
    csv_writer.writerow(['Tooltip', 'Lat','Lon', 'Distance'])
    for counter, feature in enumerate(features):
        # if counter == row_limit:
        #     raise StopIteration('row_limit reached')
        csv_writer.writerow([feature['TOOLTIP'], feature.geometry().centroid().asPoint().y(),feature.geometry().centroid().asPoint().x(), Ranker.calculateDistance(feature, layerEntrances)])
        if counter % 100 == 0:
            csvfile.flush()

您当然有可能使用程序读取无法处理任意大文件的生成的 CSV 文件；至少 Excel 似乎对大于 65,535 行的工作表有问题（但朋友不要让朋友使用 Excel）。

Answer 2

with open('Desktop/output.csv', 'w') as csvfile:
    csvWriter = csv.writer(csvfile, delimiter=',', quotechar='"', quoting=csv.QUOTE_NONNUMERIC)
    csvWriter.writerow(['Tooltip', 'Lat','Lon', 'Distance'])
    counter = 0
    for feature in features[:rowLimit]:
        csvWriter.writerow([feature['TOOLTIP'], feature.geometry().centroid().asPoint().y(),feature.geometry().centroid().asPoint().x(), Ranker.calculateDistance(feature, layerEntrances)])
        if counter % 100 == 0:
            csvfile.flush()
        counter += 1
    csvfile.flush()