提取 HTML 文件中两个标签之间的数据

Question

我的系统上保存了一个 HUUUGE HTML 文件，其中包含来自产品目录的数据。数据的结构使得每个产品记录的名称都在两个标签 (name) 和 (/name) 之间。

每个产品最多有 3 个属性：名称、产品 ID 和颜色，但并非所有产品都具有所有这些属性。

如何在不混淆产品属性的情况下为每个产品提取这些数据？该文件也是 50 兆字节！

代码示例 ....

<name>'hat'</name>
blah blah blah
<prodId>'1829493'</prodId>
blah blah blah
<color>'cyan'</color>

blah blah 
blah blah blah
blah blah blah

<name>'shirt'</name>
blah blah blahblah blah blah
<prodId>'193'</prodId>

<name>'dress'</name>
blah blah blah
blah blah blah
<prodId>'18'</prodId>
<color>'dark purple'</color>

Answer 1

大小为 50 MB 的文件不会太大，您不能直接将其内容作为字符串加载到 MATLAB 中，您可以使用函数 FILEREAD：

strContents = fileread('yourfile.html');

假设你有上面的文件格式，你可以用函数REGEXP解析内容（使用named token capture）：

expr = '<(?<tag>name|prodId|color)>''([^<>]+)''</\k<tag>>';
tokens = regexp(strContents,expr,'tokens');
tokens = vertcat(tokens{:});

使用您的示例文件内容的token 的内容将是：

tokens = 

    'name'      'hat'        
    'prodId'    '1829493'    
    'color'     'cyan'       
    'name'      'shirt'      
    'prodId'    '193'        
    'name'      'dress'      
    'prodId'    '18'         
    'color'     'dark purple'

然后，您可能想要解析生成的 N×2 元胞数组并将内容放在具有字段 'name'、'prodId' 和 'color' 的 structure array 中。困难在于并非每个条目都会包含所有三个字段。假设每个'name' 后面会跟着'prodId'、'color' 或both（按'prodId' 的顺序然后'color'），那么以下代码应该适合您：

s = struct('name',[],'prodId',[],'color',[]);  %# Initialize structure
nTokens = size(tokens,1);                      %# Get number of tokens
nameIndex = find(strcmp(tokens(:,1),'name'));  %# Find indices of 'name'
[s(1:numel(nameIndex)).name] = deal(tokens{nameIndex,2});  %# Fill 'name' field

%# Find and fill 'prodId' that follows a 'name':
index = strcmp(tokens(min(nameIndex+1,nTokens),1),'prodId');
[s(index).prodId] = deal(tokens{nameIndex(index)+1,2});

%# Find and fill 'color' that follows a 'name':
index = strcmp(tokens(min(nameIndex+1,nTokens),1),'color');
[s(index).color] = deal(tokens{nameIndex(index)+1,2});

%# Find and fill 'color' that follows a 'prodId':
index = strcmp(tokens(min(nameIndex+2,nTokens),1),'color');
[s(index).color] = deal(tokens{min(nameIndex(index)+2,nTokens),2});

使用您的示例文件内容的s 的内容将是：

>> s(1)

      name: 'hat'
    prodId: '1829493'
     color: 'cyan'

>> s(2)

      name: 'shirt'
    prodId: '193'
     color: []

>> s(3)

      name: 'dress'
    prodId: '18'
     color: 'dark purple'

Answer 2

有两种方法可以解决此类问题：使用正则表达式进行字符串操作（如 gnovice 所建议的那样）或解析文件（或两者的混合）。如果你的文件结构很好，解析通常是最好的；正则表达式胜过凌乱的文件。

这是解析解决方案。

首先下载xmliotools，然后在您的文件上调用xml_read。您的示例并非完全可重现，因此这里有两个不同版本的数据。

将此保存到test1.xml：

<?xml version="1.0" encoding="utf-8"?>
<root>
<name>'hat'</name>
<prodId>'1829493'</prodId>
<color>'cyan'</color>
<name>'dress'</name>
<prodId>'18'</prodId>
<color>'dark purple'</color>
</root>

将此保存到test2.xml。

<?xml version="1.0" encoding="utf-8"?>
<root>
<item>
<name>'hat'</name>
<prodId>'1829493'</prodId>
<color>'cyan'</color>
</item>
<item>
<name>'dress'</name>
<prodId>'18'</prodId>
<color>'dark purple'</color>
</item>
</root>

现在比较

x1 = xml_read('test1.xml')
x2 = xml_read('test2.xml')