如何根据回归模型的预测值计算标签？

Question

我正在从事一个机器学习项目。我需要创建两个 python 脚本：

1) 分类器
2) 使用该分类器生成标签的文本文件。

我只是将模型保存在第一个脚本中。然后，在第二个脚本中，我将该模型应用于包含文本的不同数据集以生成预测标签（火腿或垃圾邮件）并将这些预测标签保存在文本文件中。

基本上我有一个带有标签、火腿或垃圾邮件的文本列表。

我使用线性回归模型创建了一个分类器。我有两个不同的训练数据文件（texts_training 和 labels_training），所以我将训练数据加载到称为文本和标签的变量中。然后，我研究了分类器。这就是我的分类器：

#classifier.py 
def features (words):
     fe = np.ndarrary ((len(tweets), 56) 
          for t, text in enumerate (words):
               if "money" in text:
                   money = 1
               else:
                   money = 0

               ...(55 more features)

               fe = [i:] = [money, ...]
         return fe
fe = features (words)

feat.shape
>>>(1000, 56)

import sklearn
X = fe
label = preprocessing.LabelEncoder()
label.fit(labels)
label = lab.transform(labels)
y.shape
>>>(1000,)


from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split (X,y, random_state = 4)

from sklearn.preprocessing import StandardScaler
scaler = preprocessing.StandardScaler().fit(X_train)


#Model
from sklearn.linear_model import LinearRegression
clf = LinearRegression()
clf = lreg.fit(X, y) 

import pickle
f = open ("clf.pkl", "w")
pickle.dump ((clf, f)
f.close ()

现在，我将其加载到不同的脚本中，但两个脚本都保存在同一个文件夹中。该脚本基本上必须使用该分类器来保存在 txt 中生成的标签。

system.py

    def features (words):
     fe = np.ndarrary ((len(tweets), 56) 
          for t, text in enumerate (words):
               if "money" in text:
                   money = 1
               else:
                   money = 0

               ...(55 more features)

               feat = [t, :] = [money, ...]
         return fe
fe = features (words)

X = feat
from sklearn import preprocessing
label = preprocessing.LabelEncoder()
label.fit(labels)
label = label.transform(labels) 
y = label
from sklearn.preprocessing import StandardScaler
scaler = preprocessing.StandardScaler().fit(X)



import pickle
#class_output = pickle.load (open('clf.pkl', 'r'))
loaded_model = pickle.load (open('clf.pkl', 'r'))

class_output = loaded_model.predict (X)

**print class_output
>>>array([ 0.06140778,  0.053107  ,  0.14343903, ...,  0.05701325,
    0.18738435, -0.08788421])**

f = open ("labels_produced.txt", "w")
for output in class_output:
    if output ==0:
        f.write ("ham\n")
    else:
        f.write("spam\n")
f.close()

但是，我如何计算新数据集的垃圾邮件或非垃圾邮件，因为 class_output 中没有一个值等于 0。我的特征被设置为 0 或 1。

我是初学者，今天我一直在为此苦苦挣扎。我不明白为什么我会收到此错误以及如何修复它。如果有人提供帮助，我将不胜感激。

Answer 1

您正在尝试迭代一个对象。这就是错误的含义：

'LinearRegression' object is not iterable'

这可以通过以下方式看到：

type(clf) = sklearn.linear_model.base.LinearRegression

clf 是一个 LinearRegression 对象，具有自己的一系列属性。您不能像尝试在该行中那样对其进行迭代：

for output in class_output:
    if output == 0:
        # etc

您需要从 LinearRegression 对象 clf 中提取所需的属性，然后再将它们保存到 Pickle 或尝试迭代它们。

LinearRegression 对象中包含多个属性。 例如，以下将为您的 LinearRegression 拟合系数五：

Coefficients = clf.coef_

如果你决定了你真正想要迭代的 clf 的哪个属性，你可以按照上面显示的方式提取它。

编辑：此处提供了 LinearRegression 对象中的属性列表：

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html

coef_ : 数组，形状 (n_features, ) 或 (n_targets, n_features)

线性回归问题的估计系数。如果在拟合过程中传递了多个目标（y 2D），这是一个形状为（n_targets，n_features）的二维数组，而如果只传递一个目标，这是一个长度为n_features的一维数组。

residues_ : 数组、形状 (n_targets,) 或 (1,) 或空

残差之和。拟合期间通过的每个目标的平方欧几里得 2 范数。如果线性回归问题是欠定的（训练矩阵的线性独立行数小于其线性独立列数），这是一个空数组。如果在拟合期间传递的目标向量是一维的，则这是一个 (1,) 形状数组。 0.18 版中的新功能。

拦截_：数组

线性模型中的独立项。

编辑：这里有很好的例子：

http://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html

另一个问题：

在您的函数features 中，看起来您传入了(texts)，然后在feat 列表中保存了一个功能是0 还是1。但在函数结束时，您返回 re 而不是返回 feat。如果您返回feat，您可能会得到您想要的信息。此外，您使用变量 t,text 进行迭代，然后在 (feat = [i:] = [money, ...]) 中使用变量 i 分配 feat 数组中的值。 i 是否应该替换为 t？