2.9 将Unicode文本标准化

问题

你正在处理 Unicode 字符串，需要确保所有字符串在底层有相同的表示。

解决方案

在 Unicode 中，某些字符能够用多个合法的编码表示。为了说明，考虑下面的这个例子：



In [1]:

    
s1 = "Spicy Jalape\u00f1o"
s1









    Out[1]:





'Spicy Jalapeño'



In [2]:

    
s2 = "Spicy Jalapen\u0303o"
s2









    Out[2]:





'Spicy Jalapeño'



In [3]:

    
s1 == s2









    Out[3]:





False



In [4]:

    
len(s1)









    Out[4]:





14



In [5]:

    
len(s2)









    Out[5]:





15

这里的文本 ”Spicy Jalapeño” 使用了两种形式来表示。第一种使用整体字符 ”ñ”(U+00F1) ，第二种使用拉丁字母 ”n” 后面跟一个 ”~” 的组合字符 (U+0303)。

在需要比较字符串的程序中使用字符的多种表示会产生问题。为了修正这个问题，你可以使用 unicodedata 模块先将文本标准化：



In [6]:

    
import unicodedata
t1 = unicodedata.normalize("NFC", s1)
t2 = unicodedata.normalize("NFC", s2)
t1 == t2









    Out[6]:





True



In [7]:

    
print(ascii(t1))









    



'Spicy Jalape\xf1o'



In [8]:

    
t3 = unicodedata.normalize("NFD", s1)
t4 = unicodedata.normalize("NFD", s2)
t3 == t4









    Out[8]:





True



In [9]:

    
print(ascii(t3))









    



'Spicy Jalapen\u0303o'

normalize() 第一个参数指定字符串标准化的方式。 NFC 表示字符应该是整体组成(比如可能的话就使用单一编码)，而 NFD 表示字符应该分解为多个组合字符表示。

Python 同样支持扩展的标准化形式 NFKC 和 NFKD ，它们在处理某些字符的时候增加了额外的兼容特性。比如：



In [10]:

    
# A single character
s = '\ufb01' 
s









    Out[10]:





'ﬁ'



In [11]:

    
unicodedata.normalize("NFD", s)









    Out[11]:





'ﬁ'



In [12]:

    
# Notice how the combined letters are broken apart here
unicodedata.normalize("NFKD", s)









    Out[12]:





'fi'



In [13]:

    
unicodedata.normalize("NFKD", s)









    Out[13]:





'fi'

讨论

标准化对于任何需要以一致的方式处理 Unicode 文本的程序都是非常重要的。当处理来自用户输入的字符串而你很难去控制编码的时候尤其如此。

在清理和过滤文本的时候字符的标准化也是很重要的。比如，假设你想清除掉一些文本上面的变音符的时候(可能是为了搜索和匹配)：



In [14]:

    
t1 = unicodedata.normalize("NFD", s1)
"".join(c for c in t1 if not unicodedata.combining(c))









    Out[14]:





'Spicy Jalapeno'

最后一个例子展示了 unicodedata 模块的另一个重要方面，也就是测试字符类的工具函数。 combining() 函数可以测试一个字符是否为和音字符。在这个模块中还有其他函数用于查找字符类别，测试是否为数字字符等等。

Unicode 显然是一个很大的主题。如果想更深入的了解关于标准化方面的信息，请看考 Unicode 官网中关于这部分的说明 Ned Batchelder 在他的网站上对 Python 的 Unicode 处理问题也有一个很好的介绍。