慢循环python在python的另一个数据框中搜索数据

Question

我有两个数据框：一个包含我的所有数据（称为“数据”），另一个包含每个观测开始和结束的不同站点的纬度和经度（称为“信息”），我正在尝试获取一个数据框在每个观察中，我将在每个站点旁边显示纬度和经度，我在 python 中的代码：

for i in range(0,15557580):
    for j in range(0,542):
         if data.year[i] == '2018' and data.station[i]==info.station[j]:
             data.latitude[i] = info.latitude[j]
             data.longitude[i] = info.longitude[j]
             break

但由于我有大约 1500 万次观察，所以这样做需要很多时间，有没有更快的方法？

非常感谢（我还是新手）

编辑：

我的档案信息是这样的（大约500个观察，每个站一个）

我的文件数据是这样的（这里没有显示其他变量）（大约 1500 万次观察，每次旅行一个）

我希望得到的是，当站号匹配时，结果数据将如下所示：

Answer 1

这是一种解决方案。您也可以使用pandas.merge 将2 个新列添加到data 并执行等效映射。

# create series mappings from info
s_lat = info.set_index('station')['latitude']
s_lon = info.set_index('station')['latitude']

# calculate Boolean mask on year
mask = data['year'] == '2018'

# apply mappings, if no map found use fillna to retrieve original data
data.loc[mask, 'latitude'] = data.loc[mask, 'station'].map(s_lat)\
                                 .fillna(data.loc[mask, 'latitude'])

data.loc[mask, 'longitude'] = data.loc[mask, 'station'].map(s_lon)\
                                  .fillna(data.loc[mask, 'longitude'])

Answer 2

当任何人开始处理大型数据集时，这是一个非常常见且重要的问题。大数据本身就是一个完整的主题，这里是对主要概念的快速介绍。

1.准备数据集

在大数据中，80% 到 90% 的时间用于收集、过滤和准备数据集。创建数据子集，使其针对您的进一步处理进行优化。

2。优化你的脚本

短代码并不总是意味着在性能方面优化的代码。在您的情况下，在不了解您的数据集的情况下，很难确切地说应该如何处理它，您必须自己弄清楚如何在获得完全相同的结果的同时避免尽可能多的计算。尽量避免任何不必要的计算。

如果合适，您还可以考虑将工作拆分为多个线程。

作为一般规则，您不应在内部使用 for 循环和 break 它们。每当您一开始就不能准确地知道必须经过多少个循环时，您应该始终使用while 或do...while 循环。

3.考虑使用分布式存储和计算

这本身就是一个太大的主题，无法在此全部解释。

以序列化的方式存储、访问和处理数据对于少量数据来说速度更快，但对于大型数据集则非常不合适。相反，我们使用分布式存储和计算框架。

它旨在并行执行所有操作。它依赖于一个名为 MapReduce 的概念。

第一个分布式数据存储框架是Hadoop（例如Hadoop 分布式文件系统 或HDFS）。根据您的应用程序，此框架有其优点和缺陷。

无论如何，如果你愿意使用这个框架，你可能不直接在 HDFS 上使用 MR，而是使用一个上一级，最好在内存中，例如 HDFS 之上的 Spark 或 Apache Ignite。此外，根据您的需要，尝试查看诸如 Hive、Pig 或 Sqoop 等框架。

同样，这个主题是一个完全不同的世界，但很可能适合您的情况。随意记录所有这些概念和框架，如果需要，请在 cmets 中留下您的问题。