jieba分词加入特殊字符和空格

将原始jieba字典中的空格更改为 @@
　　1.原来：雅不可攀 3 nr
　　2.现在：雅不可攀@@3@@nr

将自定义用户词典加入的词与词性中间的空格更改为@@ 

　　　1.原来：牵连关系 50 n

　　　2.现在：牵连关系@@50@@n

 

更改jieba根目录下的__init__.py文件下代码:

　　 1.原来：re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

　　 2.现在：re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)

 

　　 1.原来：re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)

　　 2.现在：re_han_default = re.compile("(.+)", re.U)

 

　　 1.原来：word, freq = line.split(' ')[:2]

　　 2.现在：word, freq = line.split('\u0040\u0040')[:2]

 

　　 1.原来：self.user_word_tag_tab[word] = tag

　　 2.现在：self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')

 

　　 1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代码

　　 2.freq = freq.replace('\u0040\u0040', '')

 

更改jieba根目录下posseg文件下的__init__.py下代码：

　　 1.原来：re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")

　　 2.现在：re_han_internal = re.compile("(.+)", re.U)

 

　　 1.原来：word, _, tag = line.split(" ")

　　 2.现在：word, _, tag = line.split("\u0040\u0040")