错误指针：解析标记时无法评估表达式

Question

在解析令牌时，我的所有令牌指针都变坏了，当我签入调试器时，它说无法评估表达式。 错误：CX0030：错误：无法评估表达式 并且令牌的值是 0x00000000

我在这里遗漏了一些东西，我尝试了很多但无法纠正它。我知道它与 const 等指针声明有关，但进行更改无济于事。

Windows + Visual Studio 2010 和正在解析的文件是 unicode UTF16

code sn-p ------

    const wchar_t* const DELIMITER = L"\"";
wchar_t buf[MAX_CHARS_PER_LINE];
fin.getline(buf, MAX_CHARS_PER_LINE);
wchar_t* token[MAX_TOKENS_PER_LINE] = {};
token[0] = wcstok(buf, DELIMITER);
if (token[0]) // zero if line is blank
    {
    int n = 0; 
         for (n = 0; n < MAX_TOKENS_PER_LINE; n++)   
        {
            token[n] = wcstok(0, DELIMITER); // subsequent tokens   --> error ,pointer becomes bad

            if (!token[n]) break; // no more tokens  -------------> code does not go beyond this

buf 有整个文件（这是另一个问题，当我尝试读取行时它会在其中获取整个文件），有人可以帮我指出我在这里犯了什么错误吗？

Answer 1

如果没有发现分隔符，您认为token[0] = wcstok(buf, DELIMITER); 将为 NULL 的假设是不正确的。会有代币；字符串的内容，很容易证明如下：

#include <iostream>
#include <cwchar>

int main()
{
    wchar_t data[] = L"NoDelimiter";
    wchar_t *ctx = nullptr, *token = wcstok(data, L"\"", &ctx);

    if (token != nullptr)
        std::wcout << token << std::endl;

    return 0;
}

输出

NoDelimiter

因此，这段代码：

token[0] = wcstok(buf, DELIMITER);
if (token[0]) // zero if line is blank

... 只有当它确实是一个真正的空白输入（即没有字符的空）时才是正确的。如果甚至有 一个 字符（例如讨厌的换行符），则该 eval 将为真，您将陷入 for 循环。但是你可以很容易地测试它是否是一个真正的空行，只需这样做：

if (buff[0]) // true if line is not blank

继续，因为您故意跳过第一个将我们带到的标记：

for (n = 0; n < MAX_TOKENS_PER_LINE; n++)   
{
    token[n] = wcstok(0, DELIMITER); // will save NULL if original line had no delimiters
    if (!token[n]) 
        break;  // will break here since token[n] is NULL

总之，你的逻辑循环是有缺陷的。在您跳过一个标记之前，您最好确保您确实阅读一个标记，该标记由您认为存在的内容分隔。如果没有别的，我建议您测试以确保字符串具有'"'，然后再假设返回的数据为非空的原因是因为存在一个。正如我在上面所展示的，这不是wcstok() 返回令牌的唯一方式。

---

替代方法

有很多选项可以做我认为你正在尝试做的事情。这只是其中之一，您可以根据需要对其进行调整。

#include <iostream>
#include <sstream>
#include <algorithm>
#include <vector>

int main()
{
    wchar_t data[] = L"\"Test1\", \"Test2\", \"Test3\"";
    std::wistringstream iss(data);

    std::vector<std::wstring> tokens;
    std::wstring token;
    if (std::getline(iss, token, L'"') && std::getline(iss, token, L'"'))
    {
        while (iss)
        {
            // output the real token
            tokens.push_back(token);
            std::wcout << token << std::endl;
            std::getline(iss, token, L'"'); // skip separator to next "
            std::getline(iss, token, L'"'); // read through next "
        }
    }

    // tokens now has your "data" delimited tokens

    return 0;
}

Answer 2

您丢失了第一个令牌，因为 n 从 0 开始。对于其余部分，我唯一能想到的就是这段代码可以从多个线程运行，因此 wcstok 中的静态缓冲区会被后续调用 wcstok(buf,分隔符）。这工作正常（来自单线程应用程序）：

char buf[] = "1;2;3;4";

char *tok[10] ={};

tok[0] = strtok(buf, ";");

if (tok[0])
{
    int n = 1;

    while ((tok[n] = strtok(0, ";")) != 0)
    {
        n++;
    }
}