快速写入 JSON 文件时出现意外错误答案

【问题标题】：Unexpected errors when rapidly writing to JSON files快速写入 JSON 文件时出现意外错误
【发布时间】：2021-08-21 10:48:09
【问题描述】：

我正在尝试为我的 Node.js 服务器实现 JSON 日志；但是，当我快速发送请求时，JSON.parse() 会抛出错误。我认为这可能是由于对我的日志文件的并发读写造成的，因为fs 方法是异步的。

我收到的错误之一是：

SyntaxError: Unexpected end of JSON input

这将通过降低请求速率来解决。

但是，在其他时候，JSON 本身会出现语法错误，并且在我删除它们并重新启动服务器之前无法解析日志：

SyntaxError: Unexpected token [TOKEN] in JSON at position [POSITION]

有时日志的结尾看起来像这样，以一个额外的]结尾：

[
    ...,
    {
        "ip": ...,
        "url": ...,
        "ua": ...
    }
]]

或者这个：

[
    ...,
    {
        "ip": ...,
        "url": ...,
        "ua": ...
    }
]
]

这是我的服务器的一个非常简化的版本：

"use strict"

const fsp = require("fs").promises
const http = require("http")
const appendJson = async (loc, content) => {
    const data = JSON.parse(
        await fsp.readFile(loc, "utf-8").catch(err => "[]")
    )
    data.push(content)
    fsp.writeFile(loc, JSON.stringify(data))
}
const logReq = async (req, res) => {
    appendJson(__dirname + "/log.json", {
        ip: req.socket.remoteAddress,
        url: req.method + " http://" + req.headers.host + req.url,
        ua: "User-Agent: " + req.headers["user-agent"],
    })
}
const html = `<head><link rel="stylesheet" href="/main.css"></head><script src="/main.js"></script>`
const respond = async (req, res) => {
    res.writeHead(200, { "Content-Type": "text/html" }).end(html)
    logReq(req, res)
}
http.createServer(respond).listen(8080)

我测试了通过快速刷新页面或在浏览器控制台中打开许多选项卡在 Firefox 和 Chromium 中发送大量请求（但由于某种原因，使用 cURL 发送数千个请求都不会导致错误）：

for (let i = 0; i < 200; i++)
    window.open("http://localhost:8080")

通常，如果完整的 HTML 页面自己发出更多请求，那么会导致这些错误的请求要少得多。

这些错误的原因是什么，我该如何解决它们，尤其是第二个？

【问题讨论】：

我相信你可以简单地await fsp.writeFile(...)。你不是在等待它，我有直觉它可能会解决问题

标签： node.js json fs

【解决方案1】：

对您的appendJson() 方法的并发请求是您的问题的原因。当一个 Web 请求正在进行时，另一个 Web 请求进入。您必须组织对日志文件的访问，以便在任何时候只有一个并发访问在进行中。

如果您只有一个日志文件，这样的方法可能会奏效。

有一个fileAccessInProgress 标志和一个要写入文件的项目队列。每个新项目都会附加到队列中。然后，如果文件访问未激活，则队列的内容将被写出。如果在访问过程中新项目到达，它们也会被附加到队列中。

let fileAccessInProgress = false
let logDataQueue = []
const appendJson = async (loc, content) => {
  logDataQueue.push(content)
  if (fileAccessInProgress) return
  fileAccessInProgress = true
  while (logDataQueue.length > 0) {
    const data = JSON.parse(
      await fsp.readFile(loc, "utf-8").catch(err => "[]")
    )
    while (logDataQueue.length > 0) data.push(logDataQueue.shift()) 
    await fsp.writeFile(loc, JSON.stringify(data))
  }
  fileAccessInProgress = false
}

你也许可以让它工作。但是，恕我直言，处理日志记录的方式很糟糕。为什么？写入每个日志文件项的 CPU 和 I/O 工作量与日志文件中已有的项数成正比。在 compsci big-O lingo 中，这意味着 loc 文件的写入是 O（n 平方）。

这意味着您的应用越成功，运行速度就越慢。

日志文件包含单独的日志行而不是完整的 JSON 对象是有原因的：以避免这种性能损失。如果您需要 JSON 对象来处理日志行，请在读取日志时创建它，而不是在编写时创建。

【讨论】：

w/r/t 你的最后一段：防止每次记录一行时都必须读取和写入整个文件的一种方法是append line of JSON + a newline。存在读取换行符分隔的 JSON 文件的库（这是一种非常简单的格式）。