【发布时间】:2019-06-11 02:40:13
【问题描述】:
即使在使用小型数据集后,我在 google colab 中的会话也不断崩溃,显示“您的会话在使用可用 RAM 后崩溃”。 测试大小 = 999892 火车大小 = 2999892
我正在寻找解决此问题的方法,但找不到。
corpus = []
for i in range(0, 299989):
SentimentText = re.sub('[^a-zA-Z]', ' ', dataset1['SentimentText'][i])
SentimentText = re.sub('<[^<]+?>', ' ', dataset1['SentimentText'][i])
tokenizer = RegexpTokenizer(r'\w+')
SentimentText = tokenizer.tokenize(SentimentText)
SentimentText = ' '.join(SentimentText)
corpus.append(SentimentText)
X_train = cv.fit_transform(corpus)
from sklearn.feature_extraction import text
X_train = text.TfidfTransformer().fit_transform(X_train)
X_train = X_train.toarray()
y_train = dataset.iloc[:, 1].values
执行第三部分后,会显示会话崩溃的错误..
【问题讨论】:
标签: crash ram using google-colaboratory availability