谷歌应用脚​​本超出内存限制

Question

这个问题可能已经问过了，但这并不能解决我的问题。

我尝试使用google app script 将数据保存到google spreadsheet。但它显示 Exceeded memory limit 错误。

按照我的代码：

//new
function getNewTitle() {
    var url = "https://www.reddit.com/r/DigitalMarketing.rss?limit=100&after=0";
    var fromText = '</updated><title>';
    var toText = '</title>';
    var content = UrlFetchApp.fetch(url).getContentText();

    var scraped = Parser.data(content).from(fromText).to(toText).iterate();
    return scraped;
}

function getNewContent() {
    var url = "https://www.reddit.com/r/DigitalMarketing.rss?limit=10&after=0";
    var content = UrlFetchApp.fetch(url).getContentText();

    var document = XmlService.parse(content);
    var root = document.getRootElement();
    var atom = XmlService.getNamespace('http://www.w3.org/2005/Atom');
    Logger.log(atom);

    var fromText = '<content type="html">&lt;!-- SC_OFF --&gt;&lt;div class=&quot;md&quot;&gt;&lt;p&gt;';
    var toText = '</div>';


    var scraped = Parser.data(content).from(fromText).to(toText).iterate();

    return scraped;
}

function getNewLink() {
    var url = "https://www.reddit.com/r/DigitalMarketing.rss?limit=10&after=0";
    var fromText = '<link href="';
    var toText = '" /><updated>';
    var content = UrlFetchApp.fetch(url).getContentText();

    var scraped = Parser.data(content).from(fromText).to(toText).iterate();

    return scraped;
}

function SAVE_DATA() {
  var sheet  = SpreadsheetApp.openById('1No3m_FnhyxIaxj2zSlbHrg8HLBJULGQ2bda65hpKlyY').getSheetByName('sample'); 
 var content   = getNewContent();
  var title   = getNewTitle();
  var link   = getNewLink();
  Logger.log(title[1]);
  for(var i =0; i < title.length; i++) { 
    sheet.appendRow([ 'Reddit','wordpress', title[i], link[i], content[i]]);
  }
}
//new

在我上面的代码中，我尝试保存来自url 的数据。

但我收到Exceeded memory limit 错误。

在我的日志中我收到了这条消息

[18-07-21 05:33:29:719 PDT] [命名空间：前缀“”映射到 URI“http://www.w3.org/2005/Atom”]

请帮我解决这个错误...！

提前致谢。

Answer 1

我认为错误的原因是var toText = '</div>';的</div>不包含在从https://www.reddit.com/r/DigitalMarketing.rss?limit=10&after=0检索到的content中。那么这个修改怎么样呢？

修改点：

• var toText = '</div>'; 中的 </div> 不包含在 content 中。所以在这个修改中，我使用了</content>。因为您将'<content type="html"><!-- SC_OFF --><div class="md"><p>' 用于fromText。
• setValues() 而不是 appendRow() 用于放置值。
  • 您可以在here 看到setValues() 和appendRow() 之间的成本差异。

修改后的脚本：

1。对于getNewContent()

请修改自

从 ：

var toText = '</div>';

到 ：

var toText = '</content>';

2。对于SAVE_DATA()

请进行如下修改。

function SAVE_DATA() {
  var sheet  = SpreadsheetApp.openById('1No3m_FnhyxIaxj2zSlbHrg8HLBJULGQ2bda65hpKlyY').getSheetByName('sample');
  var content = getNewContent();
  var title   = getNewTitle();
  var link   = getNewLink();
  var values = title.map(function(e, i){return [e, link[i], content[i]]});
  sheet.getRange(sheet.getLastRow() + 1, 1, values.length, values[0].length).setValues(values);
}

注意：

• 在此修改中，我将var toText = '</content>'; 用于getNewContent()。如果要检索网站的其他范围，请修改此项。
• 关于URL，设置了标题的limit=100。但是limit=10是为链接和内容设置的。因此，当检索到值并将它们放入电子表格时，链接和内容从 11 行变为未定义。
  • 如果您已经知道这一点，请忽略这一点。

参考：

• Easy data scraping with Google Apps Script in 5 minutes
  • 解析器是一个 GAS 库。您可以在这里查看。

如果我误解了你的问题，我很抱歉。