【数据结构与算法】使用哈夫曼编码压缩文本

哈夫曼编码原理

哈夫曼编码属于一种基于字符出现频率的贪心算法，其通过构建哈夫曼树，为文本中的每一个字符赋予独一无二的二进制编码。频率较高的字符会被分配较短的编码，而频率较低的字符则会被分配较长的编码，以此达成压缩数据的目标。

构建哈夫曼树的步骤

1. 统计频率：统计文本中各个字符的出现次数。
2. 选择频率最低的节点：从统计结果中选择频率最低的两个节点，并将其作为新节点的左右子节点，并将构成的新节点放回。
3. 构建哈夫曼树：重复步骤2，直到所有节点都被合并为一棵树。

编码与解码过程

• 编码：利用哈夫曼树为每个字符生成编码。从根节点起始，向左行进表示“0”，向右行进表示“1”，一直抵达叶子节点，叶子节点所对应的字符编码便是该字符的哈夫曼编码。
• 解码：依据编码逆向遍历哈夫曼树，从根节点出发，读取一位编码，向左走代表“0”，向右走代表“1”，直至抵达叶子节点，输出该节点的字符，而后回退至根节点继续解码。

示例

首先我们给定一个示例文本，并统计各字符的频率

然后选择频率最低的两个节点进行合并
这里因为有多个频率为1的节点，我直接全部连上了(连的方式不唯一，只要连接时选择频率最小的即可)

刚才剩下来的’!'也是频率为1的，随便找个最小的连上就行

现在2是最小的了，就把2连起来变成4

现在剩下的节点权重为2，3，3，4
所以继续2+3=5

3+4=7

5+7=12

这样就构建完成了，我们可以根据这棵树得到编码

结果不唯一，与迭代过程中的选择顺序有关

问题

可能有人会想，我原本1个字符编码后长度不为1了，那不是没有起到压缩的效果吗？
但是我们可以用位来存储，根据不同的字符集，原本一个字符需要7位，8位，16，位甚至32位，现在可以降低出现频率更高的字符的编码长度，那么反映在需要压缩的文本中，压缩比就很可观了。虽然可能会导致低频字符的编码长度变长，但是其频率低，对压缩结果影响不大。所以最终能起到压缩的效果

Python 实现哈夫曼编码

以下是我用Python实现的一个示例
其中在序列化和反序列化的时候因为我们只关心树的结构，所以没有对weight进行处理

# -*- coding: utf-8 -*-
"""
Huffman编码
"""
import os
from collections import Counter
from heapq import *
from typing import Union
from bitarray import bitarray


class HuffmanNode:
    """
    Huffman节点基类
    """
    def __init__(self, weight, ):
        """
        初始化节点权重
        :param weight: 节点权重
        """
        self.weight = weight

    def __lt__(self, other):
        """
        小于运算符重载，用于比较节点权重
        :param other: 另一个节点
        :return: 如果当前节点权重小于另一个节点的权重，则返回True
        """
        return self.weight < other.weight

    def __eq__(self, other):
        """
        等于运算符重载，用于比较节点权重
        :param other: 另一个节点
        :return: 如果当前节点权重等于另一个节点的权重，则返回True
        """
        return self.weight == other.weight

    def __gt__(self, other):
        """
        大于运算符重载，用于比较节点权重
        :param other: 另一个节点
        :return: 如果当前节点权重大于另一个节点的权重，则返回True
        """
        return self.weight > other.weight


class HuffmanTreeNode