将 numpy 数组保存到 csv 会产生不匹配错误答案

【问题标题】：Saving a numpy array to a csv yields a mismatch error将 numpy 数组保存到 csv 会产生不匹配错误
【发布时间】：2017-09-11 02:17:39
【问题描述】：

我正在从 twitter 收集一堆推文并将它们保存到列表中，然后将列表转换为 numpy 数组并尝试将其保存到 CSV 文件中。

但是，当我尝试这样做时，出现以下错误：

Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/numpy/lib/npyio.py", line 1215, in savetxt
    fh.write(asbytes(format % tuple(row) + newline))
TypeError: a float is required

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/keva161/Documents/Projects/Twitter Sentiment/main.py", line 66, in <module>
    main("Trump")
  File "/home/keva161/Documents/Projects/Twitter Sentiment/main.py", line 20, in main
    collect_tweets(api, query)
  File "/home/keva161/Documents/Projects/Twitter Sentiment/main.py", line 54, in collect_tweets
    save_to_csv(tweets_array)
  File "/home/keva161/Documents/Projects/Twitter Sentiment/main.py", line 62, in save_to_csv
    np.savetxt('test.csv', tweets_array)
  File "/usr/local/lib/python3.5/dist-packages/numpy/lib/npyio.py", line 1219, in savetxt
    % (str(X.dtype), format))
TypeError: Mismatch between array dtype ('<U144') and format specifier ('%.18e %.18e %.18e %.18e %.18e %.18e %.18e')

下面是我的代码：

def collect_tweets(api, query):

    tweets_array = []

    public_tweets = api.search(q=query, count=10)

    print("Collecting tweets...")

    for tweet in public_tweets:

        userid = api.get_user(tweet.user.id)
        username = userid.screen_name

        location = tweet.user.location

        tweetText = tweet.text

        analysis = TextBlob(tweet.text)
        polarity = analysis.sentiment.polarity

        datestamp = tweet.created_at
        time = datestamp.strftime("%H:%M")
        year = datestamp.strftime("%d-%m-%Y")

        if (not tweet.retweeted) and ('RT @' not in tweet.text):
            retweet = "Yes"
        else:
            retweet = "No"

        tweets_array.append([username, location, tweetText, retweet, time, year, polarity])

    print("Done!")
    save_to_csv(tweets_array)

def save_to_csv(tweets_array):
    print('Saving to CSV')

    new_array = np.array(tweets_array)
    #headers = ['Username', 'Location', 'Tweet', 'Retweeted', 'Time', 'Year', 'Polarity']
    #np.savetxt("test_file.csv", new_array.flatten(), delimiter=",", fmt='%s')
    np.savetxt('test.csv', tweets_array)

【问题讨论】：

为什么要将字符串列表转换为 numpy 数组，只是为了保存 csv？这没有任何意义。使用csv 模块
但是，是的，您的错误似乎是您传递了一个格式说明符“%.18e”，这意味着科学记数法，当您的数据是文本时，numpy 不知道该怎么做.
%.18e 是默认格式。
@hpaulj 对，似乎有一个注释掉的对savetext 的调用指定了%s，但同样，如果这就是你想要的为什么不使用csv 模块我>

标签： python arrays csv numpy tweepy

【解决方案1】：

重新访问np.savetxt 的文档。您可以使用fmt 参数指定用于每个数组列或整行的格式。此默认值假定您要保存浮点数组。

默认的fmt 是一种通用浮点格式，由数组中的列数复制。显然您的数组有七列：'%.18e %.18e %.18e %.18e %.18e %.18e %.18e'。

但错误表明这些列中至少有一个，可能整个数组包含字符串，而不是数字。错误中的 dtype '

fmt='%s' 应该让你写这个数组。但检查结果。它可能需要一些调整。

您注释掉了使用这种格式的一行：

np.savetxt("test_file.csv", new_array.flatten(), delimiter=",", fmt='%s')

这有什么问题？

savetxt 不是一个复杂的函数。它只是对数组进行迭代，并将每个“行”写入文件：

for row in your_array:
    fh.write(asbytes(format % tuple(row) + newline))

其中format 是%.18e 的长字符串或由fmt 参数构造的内容。

savetxt 在保存二维数值数组时最有意义。对于字符串数组或复合 dtype（结构化），很难定义有用的 format。

【讨论】：

是的，老实说，numpy 在这种情况下没有任何意义，它只是被用来利用numpy.savetext，但这不是使用numpy 的好理由，当csv 模块会轻松处理这个问题时。
它是一个成熟的csv 写/读模块。它可以轻松且开箱即用地处理大多数典型用例，但如果您愿意或需要，您可以指定各种csv 方言和格式选项。它还具有DictWriter，在某些用例中可以派上用场。对于带有香草方言的列表列表，只需 writer.writerows(list_of_lists) 即可！显然，如果一个人的数据已经在 np.array 中，那么 np.savetxt 是最佳的，但是转换为 numpy 数组，特别是如果数据主要是文本，那就没有意义了。 +1 可以很好地解释 np.savetxt。

【解决方案2】：

您应该为此使用csv 模块。所以，假设你使用的是 Python 3，你想要这样的东西：

import csv
headers = ['Username', 'Location', 'Tweet', 'Retweeted', 'Time', 'Year', 'Polarity']

def save_to_csv(tweets_list, headers, path="test.csv"):
    print('Saving to CSV')
    with open(path, 'w', newline='') as f:
        writer = csv.writer(f)
        # write header
        writer.writerow(header)
        # write rest of data
        writer.writerows(tweets_list)

甚至不要惹numpy。将列表列表转换为字符串数组，然后仅将其用于np.savetxt 对于numpy 来说不是一个好的用例。

【讨论】：