GBK编码中汉字的提取

    在训练语音模型、整理用于文本搜索的语料库时，通常要需要从GBK编码中提取汉字。GBK编码是怎样的呢？在一堆ASCII码、图形字符、汉字中怎样提取汉字呢？我是这么做的。

    GB2312、GBK、ASCII编码如下所示：可见，难点在于[64 ~ 127]这个区间的判定。因为，64以下肯定不属于GBK编码，直接可以拿掉（或者转化为其它汉字，如1-->幺）；127以上肯定输入GBK编码，无需判断。

 Chinese character coding: http://www.css8.cn/css8_document/gb2312.htm         
                                    the first byte              the second byte                         
 GB2312 coding:   0xB0-0xF7(176-247)       0xA0-0xFE(160-254)                        
 GBK coding:        0x81-0xFE(129-254)       0x40-0xFE(64-254)                         
 ASCII coding:       one byte, if converted to signed number, it is >= 0 即[0-127], 
                             while GBK is < 0,转换成unsigned 的话，是[128-255]。 

    假设一堆字符放在一个数组里，要从中提取汉字。

    第一步，拿掉不属于GBK编码范围的字符。[0 ~ 64)，[127]，[255]。

    第二步，从数组尾向数组头遍历。如果字符在[64 ~ 127)之内，则判断前一个字符，如果前一个不在[129 ~ 254]之内，则拿掉该字符。如果该字符是首字符（数组头），而且在[64 ~ 127]之内，直接拿掉。

    第三步，判断数组长度，如果为奇数；且遍历整个数组，只有一个字符在[0 ~ 127]范围内，拿掉该字符。（该步骤其实不需要也可。）

    第四步，如果数组有[0 ~ 127]之间的字符，则找到“第一个这样的字符”的位置。如果该字符位置不是1,3,5等奇数位，拿掉（因为第二步已经确保数组的首字符是GBK码了）。反复迭代这个过程N次。

    第五步，数组长度应该为偶数，且全部是GBK编码了。现在可以“以两个字节为单位”提取汉字了。

    第六步，每两个字节提取，判断范围如下，此范围之外，则拿掉。

// first byte: 0x81 - 0xA0, second byte: 0x40 - 0xFE
// first byte: 0xAA - 0xAF, second byte: 0x40 - 0xA0
// first byte: 0xB0 - 0xF7, second byte: 0x40 - 0xFE
// first byte: 0xF8 - 0xFE, second byte: 0x40 - 0xA0

对于搜索引擎，如果考虑中文图形字符、标点、半角与全角、字母等等，可以在以上步骤中嵌入处理过程。