基於asyncio 非同步協程框架實現收集B站直播彈幕

NO IMAGE

前言

雖然標題是全站,但目前只做了等級 top 100 直播間的全天彈幕收集。

彈幕收集系統基於之前的B 站直播彈幕姬 Python 版修改而來。具體協議分析可以看上一篇文章。

直播彈幕協議是直接基於 TCP 協議,所以如果 B 站對類似我這種行為做反制措施,比較困難。應該有我不知道的技術手段來檢測類似我這種惡意行為。

我試過同時連線 100 個房間,和連線單個房間 100 次的實驗,都沒有問題。>150 會被關閉連結。

直播間的選取

現在彈幕收集系統在選取直播間上比較簡單,直接選取了等級 top100。

以後會修改這部分,改成定時去 http://live.bilibili.com/all 檢視新開播的直播間,並動態新增任務。

非同步任務和彈幕儲存

收集系統仍舊使用了 asyncio 非同步協程框架,對於每一個直播間都使用如下方法來加進 loop 中。


danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
task1 = asyncio.ensure_future(danmuji.connectServer())
task2 = asyncio.ensure_future(danmuji.HeartbeatLoop())

其實若將心跳任務 HeartbeatLoop 放入 connectorServer 中去啟動,程式碼看起來更優雅一些。但這麼做是因為我需要維護一個任務列表,後面會有描述。

在彈幕儲存上我花了些時間選擇。

資料庫儲存是一個同步 IO 的過程,Insert 的時候會阻塞彈幕收集的任務。雖然有 aiomysql 這種非同步介面,但配置資料庫太麻煩,我的設想是這個小系統能夠方便地部署。

最終我選擇使用自帶的 sqlite3。但 sqlite3 無法做並行操作,故開了一個執行緒單獨進行資料庫儲存。在另一個執行緒中,100 * 2 個任務蒐集所有的彈幕、人數資訊,並塞進佇列 commentq, numq 中。儲存執行緒每隔 10s 喚醒一次,將佇列中的資料寫進 sqlite3 中,並清空佇列。

在多執行緒和非同步的配合下,網路流量沒有被阻塞。

可能的連線失敗場景處理

彈幕協議是直接基於 TCP,位與位直接關聯性較強,一旦解析錯誤,很容易就拋 Exception(個人感覺,雖然 TCP 是可靠傳輸,但B站伺服器自身發生錯誤也是有可能的)。所以有必要設計一個自動重連機制。

在 asyncio 文件中提到,

Done means either that a result / exception are available, or that the future was cancelled.

函式正常返回、丟擲異常或者是被 cancel,都會退出當前任務。可以使用 done() 來判斷。

每一個直播間對應兩個任務,解析任務是最容易掛的,但並不會影響心跳任務,所以必須找出並將對應心跳任務結束。
在建立任務的時候使用字典記錄每個房間的兩個任務,

self.tasks[url] = [task1, task2]

在執行過程中,每隔 10s 做一次檢查,


for url in self.tasks:
item = self.tasks[url]
task1 = item[0]
task2 = item[1]
if task1.done() == True or task2.done() == True:
if task1.done() == False:
task1.cancel()
if task2.done() == False:
task2.cancel()
danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
task11 = asyncio.ensure_future(danmuji.connectServer())
task22 = asyncio.ensure_future(danmuji.HeartbeatLoop())
self.tasks[url] = [task11, task22]

實際我只見過一次任務失敗的場景,是因為主播房間被封了,導致無法進入直播間。

結論

B站人數是按照連線彈幕伺服器的連結數量統計的。通過操縱連結量,可以瞬間增加任意人數觀看,有商機?
執行的這幾天中,發現即使大部分房間不在直播,也能有 >5 的人數,包括凌晨。我只能猜測也有和我一樣的人在 24h 收集彈幕。
top100 平均一天 40M 彈幕資料。
收集的彈幕能做什麼?還沒想好,可能可以拿來做使用者行為分析 -_^

最後附上本原始碼的GITHUB地址 https://github.com/lyyyuna/bilibili_danmu_colloector

您可能感興趣的文章:

Android實現自定義的彈幕效果又一枚精彩的彈幕效果jQuery實現IOS 實現簡單的彈幕功能終於實現了!精彩的jquery彈幕效果JavaScript直播評論發彈幕切圖功能點集合效果程式碼例項解析如何在Android應用中實現彈幕動畫效果bilibili彈幕轉ass程式製作思路及過程基於jquery實現彈幕效果