爬蟲

1/72ページ

小白學爬蟲(一) — 基礎知識

什麼是爬蟲 爬蟲爬到的資料去哪了 瀏覽器的請求 url url的組成 瀏覽器請求url地址對應的響應是什麼呢? 初識http與https http協議之請求 請求行 請求頭 請求體 http協議之響應 響應頭 響應體 抓包 什麼是爬蟲 爬蟲就是模擬客戶端(瀏覽器)傳送網路請求,獲取響應,按照規則提取 […]

爬蟲實習工作1–Redis資料庫

這裡我們簡單寫一下,今天看的redis資料庫的入門知識。 1. 安裝: 直接去下載壓縮包,然後解壓到某路徑下。 2. 使用: 使用的時候是類似於Linux的使用方法,用命令列來操作。 需要注意的是:一定要是在Terminal中,手動cd到解壓的路徑下,不能直接shift在當前路徑下啟動命令列。 之後 […]

Bilibili視訊爬蟲

一直想爬取BiliBili的視訊,無奈一直沒有去研究一下。 最近,在旭哥的指點之下,用了Fiddler抓包,抓到了一直期待的視訊包,完成了下載。 下面寫一下我做這個爬蟲的過程。 相關依賴  :Fiddler Python3 Requests 下面看一下我做這個爬蟲的具體步驟: 1. 進入某個具體視訊 […]

抖音爬蟲(基於自動化測試)

這是一篇比較粗糙的部落格,大都是一些想法和整體解決方案的東西,適合於有基礎的人看。   由於抖音這類的短視訊網站被整改,抖音關閉了分享視訊的網頁介面。現在無法從網頁端爬取短視訊。 解決方法:手機模擬器 中間抓包工具 自動化控制指令碼 下載指令碼   相關依賴: 手機模擬器: Genymotion(這 […]