Queue 里 task_done 方法使用注意

Queue 是 Python 标准库的队列实现。在网上经常看到这样的示例代码：

url = queue.get()
queue.task_done()
...

思路本身没什么问题，从队列中取一个数据，然后通知队列取成功了。但有些人会这样写：

url = queue.get()
queue.task_done()


try:
    sock = urllib2.urlopen(url)
except:
    ...

在多线程环境下，若是 url = queue.get() 刚好把队列取空了，而由于执行了 urlopen，所以当前线程产生了阻塞，发生了线程切换，如果执行权限刚好落在了主线程，这时如果主线程的 queue.join 将导致整个程序结束掉。而 sock = urllib2.urlopen(url) 后面的代码都还没来得及执行。

为什么呢？

我们看下 Queue.py 里对 join 函数如何实现的：

self.all_tasks_done.acquire()
try:
    while self.unfinished_tasks:    # unfinished_tasks 保存了当前队列中的数目
        self.all_tasks_done.wait()
finally:
    self.all_tasks_done.release()

上面代码里有个 while 循环，unfinished_tasks 存储了当前队列里的数据数目，如果 unfinished_tasks 不为 0，将会一直调用 all_tasks_done.wait 阻塞住。只要 unfinished_tasks 不是 0，join 就可以一直工作下去。

而 task_done 正是减小了 unfinished_tasks。再看看 task_done 的实现：

self.all_tasks_done.acquire()
try:
    unfinished = self.unfinished_tasks - 1 # (1)
    if unfinished <= 0:
        if unfinished < 0:
            raise ValueError('task_done() called too many times')
        self.all_tasks_done.notify_all()
    self.unfinished_tasks = unfinished
finally:
    self.all_tasks_done.release()

注意 (1)，每次执行了 task_done 后 unfinished_tasks 会减 1，直到 unfinished_tasks 为 0。

所以，在多线程下，想让队列变得正常的话，注意 task_done 的位置：

url = queue.get()
...

try:
    sock = urllib2.urlopen(url)
except:
    ...

queue.task_done()   # 要在一切都搞定后，再告诉队列空了。