Python中使用asyncio 封裝檔案讀寫

NO IMAGE

前言

和網路 IO 一樣,檔案讀寫同樣是一個費事的操作。

預設情況下,Python 使用的是系統的阻塞讀寫。這意味著在 asyncio 中如果呼叫了


f = file('xx')
f.read()

會阻塞事件迴圈。

本篇簡述如何用 asyncio.Future 物件來封裝檔案的非同步讀寫。

程式碼在 GitHub。目前僅支援 Linux。

阻塞和非阻塞

首先需要將檔案的讀寫改為非阻塞的形式。在非阻塞情況下,每次呼叫 read 都會立即返回,如果返回值為空,則意味著檔案操作還未完成,反之則是讀取的檔案內容。

阻塞和非阻塞的切換與作業系統有關,所以本篇暫時只寫了 Linux 版本。如果有過 Unix 系統程式設計經驗,會發現 Python 的操作是類似的。


flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) 
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: 
raise OSError() 

Future 物件

Future 物件類似 Javascript 中的 Promise 物件。它是一個佔位符,其值會在將來被計算出來。我們可以使用

result = await future

在 future 得到值之後返回。而使用

future.set_result(xxx)

就可以設定 future 的值,也意味著 future 可以被返回了。await 操作符會自動呼叫 future.result() 來得到值。

loop.call_soon

通過 loop.call_soon 方法可以將一個函式插入到事件迴圈中。

至此,我們的非同步檔案讀寫思路也就出來了。通過 loop.call_soon 呼叫非阻塞讀寫檔案的函式。若一次檔案讀寫沒有完成,則計算剩餘所學讀寫的位元組數,並再次插入事件迴圈直至讀寫完畢。

可以發現其就是把傳統 Unix 程式設計裡,非阻塞檔案讀寫的 while 迴圈換成了 asyncio 的事件迴圈。

下面是這一過程的示意程式碼。


def read_step(self, future, n, total):
res = self.fd.read(n)
if res is None:
self.loop.call_soon(self.read_step, future, n, total)
return
if not res: # EOF
future.set_result(bytes(self.rbuffer))
return
self.rbuffer.extend(res)
self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)
def read(self, n=-1):
future = asyncio.Future(loop=self.loop)
self.rbuffer.clear()
self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)
return future

您可能感興趣的文章:

python併發2之使用asyncio處理併發python中利用佇列asyncio.Queue進行通訊詳解Python使用asyncio包處理併發詳解探索Python3.4中新引入的asyncio模組在Python3中使用asyncio庫進行快速資料抓取的教程詳解python中asyncio模組