将文本输入规范化为 ASCII

Question

我正在构建一个小工具，它可以解析用户的输入并发现写作中的常见缺陷并标记它们，以便用户可以改进他们的文本。到目前为止，除了带有弯引号的文本与普通的 ASCII 直引号相比，一切都运行良好。我现在有一个 hack，它将对打开（和关闭）单花引号和双打开（和关闭）花括号进行字符串替换，如下所示：

cleanedData := bytes.Replace([]byte(data), []byte("’"), []byte("'"), -1)

我觉得在 stdlib 中必须有更好的方法来处理这个问题，所以我也可以将其他非 ascii 字符转换为 ascii 等效字符。任何帮助将不胜感激。

Answer 1

strings.Map 函数在我看来就像你想要的。

我不知道通用的“ToAscii”类型函数，但Map 有一个很好的方法来将符文映射到其他符文。

Example (updated):

func main() {
    data := "Hello “Frank” or ‹François› as you like to be ‘called’"
    fmt.Printf("Original: %s\n", data)
    cleanedData := strings.Map(normalize, data)
    fmt.Printf("Cleaned: %s\n", cleanedData)
}

func normalize(in rune) rune {
    switch in {
    case '“', '‹', '”', '›':
        return '"'
    case '‘', '’':
        return '\''
    }
    return in
}

输出：

Original: Hello “Frank” or ‹François› as you like to be ‘called’
Cleaned: Hello "Frank" or "François" as you like to be 'called'