Python实现具备元素唯一性的队列

最新推荐文章于 2026-05-12 12:31:52 发布

原创

最新推荐文章于 2026-05-12 12:31:52 发布 · 3k 阅读

收录于

当前文章被以下社区和专栏收录：

在多线程爬虫项目中，使用生产者-消费者模式并希望队列中元素唯一。遇到的问题包括对象不支持操作及多线程下查询结果的准确性。通过对Python queue模块的源码分析，特别是Queue类基于deque实现，可以通过改造put方法，在插入时检查元素是否存在，实现队列去重。这样，队列就能像set一样具有元素唯一性。

直奔主题，在用多线程写一个爬虫项目时，很自然的想到用“生产者-消费者”模式，但是又想实现一个额外的需求，即如果爬虫爬到了队列中已存在的url，则不进行入队操作。想实现这个，大概面临两个问题：
1. Queue对象不支持in操作
2. 即使1成立，如果在Queue对象外部通过if item in q这种形式也行不通，因为该过程无锁，多线程情况下就无法保证查询结果的准确性

进而观察了一下queue模块的源代码，因为Queue类是基于deque类实现的，那么就好办了：对put方法稍加改造，增加一个unique参数，依据此参数是否为True，在底层的deque中判断要加入的元素的存在性，以此可实现类似set的特性。

put方法源代码：

    def put(self, item, block=True, timeout=None):
        with self.not_full:
            if self.maxsize > 0:
                if not block:
                    if