标记具有双引号的字符串

Question

我有一个字符串形式：

'I am going to visit "Huge Hotel" and the "Grand River"'

我希望它被标记为

['I', 'am', 'going',..., 'Huge Hotel','and' ,'the' ,'Grand River']

正如所见，'Huge Hotel' 和 'Grand River' 被视为一个单词，因为它们出现在引号中。

import nltk
text = 'I am going to visit "Huge Hotel" and the "Grand River"'
b = nltk.word_tokenize(text)

我已经写了上面的代码，但它不起作用

Answer 1

它看起来很奇怪，但它确实有效：

1. re.findall('"([^"]*)"', s): 查找所有用双引号括起来的子字符串
2. phrase.replace(' ', '_')：将步骤 1 中这些子字符串中的所有空格替换为下划线。
3. 将所有用双引号括起来的字符串替换为第 2 步中带下划线的子字符串。
4. 在修改后的字符串上使用word_tokenize()。

[出]：

>>> import re
>>> from nltk import word_tokenize
>>> s = 'I am going to visit "Huge Hotel" and the "Grand River"'
>>> for phrase in re.findall('"([^"]*)"', s):
...     s = s.replace('"{}"'.format(phrase), phrase.replace(' ', '_'))
... 
>>> s
'I am going to visit Huge_Hotel and the Grand_River'
>>> word_tokenize(s)
['I', 'am', 'going', 'to', 'visit', 'Huge_Hotel', 'and', 'the', 'Grand_River']

我确定有一个更简单的正则表达式操作可以代替一系列正则表达式+字符串操作。