假設(shè)我們必須多線程任務(wù)創(chuàng)建大量線程。 由于線程太多，因此可能會(huì)有很多性能問題，這在計(jì)算上會(huì)是最昂貴的。 一個(gè)主要問題可能是吞吐量受限。 我們可以通過創(chuàng)建一個(gè)線程池來解決這個(gè)問題。 一個(gè)線程池可以被定義為一組預(yù)先實(shí)例化和空閑的線程，它們隨時(shí)可以開始工作。 創(chuàng)建線程池比我們需要執(zhí)行大量任務(wù)時(shí)為每個(gè)任務(wù)實(shí)例化新線程更受歡迎。 線程池可以管理大量線程的并發(fā)執(zhí)行，如下所示 -

• 如果線程池中的線程完成其執(zhí)行，那么該線程可以被重用。
• 如果一個(gè)線程被終止，另一個(gè)線程將被創(chuàng)建以替換該線程。

Python模塊 - Concurrent.futures

Python標(biāo)準(zhǔn)庫(kù)包含concurrent.futures模塊。 這個(gè)模塊是在Python 3.2中添加的，為開發(fā)人員提供了啟動(dòng)異步任務(wù)的高級(jí)接口。 它是Python的線程和多處理模塊的頂層的一個(gè)抽象層，用于提供使用線程或進(jìn)程池運(yùn)行任務(wù)的接口。

在后面的章節(jié)中，我們將學(xué)習(xí)concurrent.futures模塊中的類。

執(zhí)行者類

Executor是一個(gè) Python concurrent.futures模塊的抽象類。 它不能直接使用，我們需要使用以下具體子類之一 -

• ThreadPoolExecutor
• ProcessPoolExecutor

ThreadPoolExecutor - 一個(gè)具體的子類
它是Executor類的具體子類之一。 子類使用多線程，我們得到一個(gè)提交任務(wù)的線程池。 該池將任務(wù)分配給可用線程并安排它們運(yùn)行。

如何創(chuàng)建一個(gè)ThreadPoolExecutor？
在concurrent.futures模塊及其具體子類Executor的幫助下，可以很容易地創(chuàng)建一個(gè)線程池。 需要使用我們想要的池中的線程數(shù)構(gòu)造一個(gè)ThreadPoolExecutor。 默認(rèn)情況下，數(shù)字是5。然后可以提交一個(gè)任務(wù)到線程池。 當(dāng)submit()任務(wù)時(shí)，會(huì)返回Future對(duì)象。 Future對(duì)象有一個(gè)名為done()的方法，它告訴Future是否已經(jīng)解決。 有了這個(gè)，為這個(gè)特定的Future對(duì)象設(shè)定了一個(gè)值。 當(dāng)任務(wù)完成時(shí)，線程池執(zhí)行器將該值設(shè)置為Future的對(duì)象。

示例代碼 -

from concurrent.futures import ThreadPoolExecutor
from time import sleep
def task(message):
   sleep(2)
   return message

def main():
   executor = ThreadPoolExecutor(5)
   future = executor.submit(task, ("Completed"))
   print(future.done())
   sleep(2)
   print(future.done())
   print(future.result())
if __name__ == '__main__':
main()

執(zhí)行上面示例代碼，得到以下結(jié)果 -

False
True
Completed

在上面的例子中，一個(gè)ThreadPoolExecutor已經(jīng)由5個(gè)線程構(gòu)造而成。 然后，在提供消息之前等待2秒的任務(wù)被提交給線程池執(zhí)行器。 從輸出中可以看出，任務(wù)直到2秒才完成，所以第一次調(diào)用done()將返回False。 2秒后，任務(wù)完成，我們通過調(diào)用result()方法得到future的結(jié)果。

實(shí)例化ThreadPoolExecutor - 上下文管理器
另一種實(shí)例化ThreadPoolExecutor的方法是在上下文管理器的幫助下完成的。 它的工作方式與上例中使用的方法類似。 使用上下文管理器的主要優(yōu)點(diǎn)是它在語(yǔ)法上看起來不錯(cuò)。 實(shí)例化可以在下面的代碼的幫助下完成 -

with ThreadPoolExecutor(max_workers = 5) as executor

示例

以下示例是從Python文檔借用的。 在這個(gè)例子中，首先必須導(dǎo)入concurrent.futures模塊。 然后創(chuàng)建一個(gè)名為load_url()的函數(shù)，它將加載請(qǐng)求的url。 然后該函數(shù)用池中的5個(gè)線程創(chuàng)建ThreadPoolExecutor。 ThreadPoolExecutor已被用作上下文管理器。 我們可以通過調(diào)用result()方法來獲得future的結(jié)果。

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
   'https://www.yiibai.com/',
   'http://europe.wsj.com/',
   'http://www.bbc.co.uk/',
   'http://some-made-up-domain.com/']

def load_url(url, timeout):
   with urllib.request.urlopen(url, timeout = timeout) as conn:
   return conn.read()

with concurrent.futures.ThreadPoolExecutor(max_workers = 5) as executor:

   future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
   for future in concurrent.futures.as_completed(future_to_url):
   url = future_to_url[future]
   try:
      data = future.result()
   except Exception as exc:
      print('%r generated an exception: %s' % (url, exc))
   else:
      print('%r page is %d bytes' % (url, len(data)))

以下將是上面的Python腳本的輸出 -

'http://some-made-up-domain.com/' generated an exception: <urlopen error [Errno 11004] getaddrinfo failed>
'http://www.foxnews.com/' page is 229313 bytes
'http://www.yiibai.com/' page is 168933 bytes
'http://www.bbc.co.uk/' page is 283893 bytes
'http://europe.wsj.com/' page is 938109 bytes

使用Executor.map()函數(shù)
Python map()函數(shù)廣泛用于許多任務(wù)。 一個(gè)這樣的任務(wù)是對(duì)可迭代內(nèi)的每個(gè)元素應(yīng)用某個(gè)函數(shù)。 同樣，可以將迭代器的所有元素映射到一個(gè)函數(shù)，并將這些作為獨(dú)立作業(yè)提交到ThreadPoolExecutor之外。 考慮下面的Python腳本示例來理解函數(shù)的工作原理。

示例
在下面的示例中，map函數(shù)用于將square()函數(shù)應(yīng)用于values數(shù)組中的每個(gè)值。

from concurrent.futures import ThreadPoolExecutor
from concurrent.futures import as_completed
values = [2,3,4,5]
def square(n):
   return n * n
def main():
   with ThreadPoolExecutor(max_workers = 3) as executor:
      results = executor.map(square, values)
for result in results:
      print(result)
if __name__ == '__main__':
   main()

以下將是上面的Python腳本的輸出 -

4
9
16
25