Python numpy - 列表分配索引超出范围

Question

我有一个以下格式的 CSV 文件

86,1
15,2
19,3
52,4
15,5
13,6
18,7
20,8
49,9
266,10

为了重现性，我已经包含了完整的CSV file here。从第 1 列开始，我想读取当前行并将其与前一行的值进行比较。如果它更大，我想获取当前值与前一个值的差值并将 (append) 差值存储在列表中。如果当前值等于前一行的值，则继续比较。说明一下第四行（52-19 = 33）等

这是我使用numpy的简单方法

import numpy as np
import pandas as pd
import csv

df = pd.read_csv("testdata.csv")
with open("testdata.csv") as f:
    reader = csv.reader(f, delimiter=",")
    for i in reader:
        print (i[0])
        diffs=np.diff(i[0])
        increased_value=np.median(diffs[diffs>0])

但是，我收到了错误 IndexError: list assignment index out of range。如何解决此错误以解决我提到的任务？

Answer 1

我认为这是一个更好的方法

df = pd.read_csv("testdata.csv", header=None)
df
     0     1
0   86     1
1   15     2
2   19     3
3   52     4
4   15     5
5   13     6
6   18     7
7   20     8
8   49     9
9   266   10

diffs = np.diff(df[0])
increased_value = np.median(diffs[diffs>0])
increased_value

17.0

Answer 2

使用熊猫s.diff():

data = StringIO("""86,1
15,2
19,3
52,4
15,5
13,6
18,7
20,8
49,9
266,10""")

df=pd.read_csv(data,header=None)

m1=df[0].diff().fillna(0)
#m1[m1>0].tolist()
#[4.0, 33.0, 5.0, 2.0, 29.0, 217.0]
m1[m1>0].median()
#17.0

Answer 3

基本上，np.diff() 需要一个类似输入的列表，而您传递的是一个整数。这就是它失败的原因

Answer 4

技术上我们不需要numpy

from statistics import median
from operator import itemgetter, lt, sub

first = itemgetter(0)
nums = []

with open('testdata.csv', 'r') as fin:
    reader = csv.reader(fin)
    for line in reader:
        nums.append(int(first(line)))

res = [abs(sub(*t)) for t in zip(nums, nums[1:]) if lt(*t)]

[4, 33, 5, 2, 29, 217]

median(res)

17.0

Answer 5

你得到的原因

IndexError: 列表赋值索引超出范围

np.diff() 接受数组或列表之类的输入。

喜欢

arr = []
df = pd.read_csv("testdata3.csv")
df
with open("testdata3.csv", mode='r', encoding='utf-8-sig') as f:
    reader = csv.reader(f, delimiter=",")
    for i in reader:
#         print(i[0])
        arr.append(int(i[0]))

diffs=abs(np.diff(arr))
increased_value=np.median(diffs[diffs>0])

Answer 6

您遇到的问题是，当您尝试运行 np.diff 时，数组的默认 dtype 是 dtype U3，这意味着您的数组中的值不是数字，这意味着需要进行转换。请尝试以下操作：

with open("test_data.csv", "r") as f:
    reader = csv.reader(f) ## no need for delimiter if your delimiter is ','
    data = []
    for row in reader:
        data.append(row[0])

## ensure that you convert your data into numpy array with appropriate data type 
## before carrying out any mathematical operations 

np_array = np.array(data, dtype=np.uint8) 
np_diff = np.diff(np_array)
np_median = abs(np.median(np_diff[np_diff > 0]))

print(np_median)

如果您必须定期执行此操作，那么您始终可以将此循环包装为一个方法。试试这个。