python爬蟲ajax動態頁面爬取

爬取通過ajax動態載入的頁面(實時監控華爾街見聞資訊與快訊)

學習了幾天如何使用scrapy去爬取靜態網站,今天嘗試去爬取動態載入的網站。選取的網站是華爾街見聞,文中不會像往常一樣大篇幅講解每一步該如何做,而是探討如何爬取。 在原始碼中無法獲得全部資料(有的根本沒資料),但是通過下拉滑條可以看到網址不變但有資料載入出來,毫無疑問這就是動態載入的網頁。以下講解如 […]