使用 _tcstok 时访问冲突

Question

我正在尝试使用 _tcstok 标记文件中的行。我可以对线路进行一次标记，但是当我再次尝试对其进行标记时，我会遇到访问冲突。我觉得这与实际访问值有关，而是与位置有关。不过我不知道还能怎么做。

谢谢，

戴夫

附言我正在使用 TCHAR 和 _tcstok，因为文件是 UTF-8。

这是我得到的错误：

Testing.exe 中 0x63e866b4 (msvcr90d.dll) 的第一次机会异常：0xC0000005：访问冲突读取位置 0x0000006c。

vector<TCHAR> TabDelimitedSource::getNext() {
// Returns the next document (a given cell) from the file(s)
TCHAR row[256]; // Return NULL if no more documents/rows
vector<TCHAR> document;

try{
    //Read each line in the file, corresponding to and individual document
    buff_reader->getline(row,10000);
    }
catch (ifstream::failure e){
        ; // Ignore and fall through
    }

if (_tcslen(row)>0){
    this->current_row += 1;
    vector<TCHAR> cells;
      //Separate the line on tabs (id 'tab' document title 'tab' document body)
     TCHAR *  pch;
     pch = _tcstok(row,"\t");
     while (pch != NULL){
         cells.push_back(*pch);
         pch = _tcstok(NULL, "\t");
     }

    // Split the cell into individual words using the lucene analyzer
    try{
      //Separate the body by spaces
        TCHAR original_document ;
        original_document = (cells[column_holding_doc]);
        try{
            TCHAR * pc;
            pc = _tcstok((char*)original_document," ");
             while (pch != NULL){
                 document.push_back(*pc);
                pc = _tcstok(NULL, "\t");
             }

Answer 1

首先，您的代码是 C 字符串操作和 C++ 容器的混合体。这只会让你陷入困境。理想情况下，您应该将该行标记为std::vector<std::wstring>

另外，您对 TCHAR 和 UTF-8 感到非常困惑。 TCHAR 是一种在 8 到 16 位之间“浮动”的字符类型，具体取决于编译时标志。 UTF-8 文件使用一到四个字节来表示每个字符。因此，您可能希望将文本保存为 std::wstring 对象，但您需要将 UTF-8 显式转换为 wstrings。

但是，如果您只是想让任何东西正常工作，请专注于您的标记化。您需要存储每个令牌的起始地址（作为TCHAR*），但您的向量是TCHARs 的向量。当您尝试使用令牌数据时，您将TCHARs 转换为TCHAR* 指针，访问冲突的结果不足为奇。你给的AV地址是0x0000006c，这是字符l的ASCII码。

  vector<TCHAR*> cells;
  ...
  cells.push_back(pch);

...然后...

    TCHAR *original_document = cells[column_holding_doc];
    TCHAR *pc = _tcstok(original_document," ");