地爬蟲

1/4ページ

爬蟲實習工作1–Redis資料庫

這裡我們簡單寫一下,今天看的redis資料庫的入門知識。 1. 安裝: 直接去下載壓縮包,然後解壓到某路徑下。 2. 使用: 使用的時候是類似於Linux的使用方法,用命令列來操作。 需要注意的是:一定要是在Terminal中,手動cd到解壓的路徑下,不能直接shift在當前路徑下啟動命令列。 之後 […]

抖音爬蟲(基於自動化測試)

這是一篇比較粗糙的部落格,大都是一些想法和整體解決方案的東西,適合於有基礎的人看。   由於抖音這類的短視訊網站被整改,抖音關閉了分享視訊的網頁介面。現在無法從網頁端爬取短視訊。 解決方法:手機模擬器 中間抓包工具 自動化控制指令碼 下載指令碼   相關依賴: 手機模擬器: Genymotion(這 […]

爬蟲練習(2)– 使用正則匹配爬取果殼問答

分析 從 web 的角度來看,網站架構分為前後端分離和前後端不分離,如果是前後端不分離的結構,我們就需要從響應中去匹配我們希望提取的資料。舉個例子就是 果殼網的熱門問答。 獲取整個網頁 去正則匹配之前比較習慣先把程式碼跑通,我們可以嘗試去構建出這樣的結構,把當前的整個網頁先列印出來,再去除錯 # c […]