python-爬蟲

1/2ページ

昨天教我利用Python來爬取自己想要的資料資訊,上手賊簡單!

  說明 導師給我佈置了一個任務,對一個網站的城市做一些統計,將這個網站上的城市的經緯度資訊提取出,然後繪製在百度地圖上。要是為數不多的城市還好,但對於這種存在N個城市的 ,且這些城市的經緯度資訊在第三級網站上才能找到,這樣的話人工去完成又枯燥又耗時。   這個網站是維基百科關於自行車公共站點的統計 […]

python爬蟲—-小白學習心得

1.python將爬蟲記錄儲存至檔案的問題   在python中,所有字元的編碼都是Unicode,而網頁上得到的資料流往往都是utf-8格式,所以,需要使用decode()將字元編碼轉化為Unicode, 而檔案的開啟預設為是gbk編碼,在檔案的儲存過程中會出現編碼字元不統一導致檔案無法寫入的問題 […]

python爬蟲裡資訊提取的核心方法: Beautifulsoup、Xpath和正規表示式

20170531 這幾天重新拾起了爬蟲,算起來有將近5個月不碰python爬蟲了。 對照著網上的程式和自己以前寫的抓圖的程式進行了重寫,發現了很多問題。總結和歸納和提高學習效果的有效手段,因此對於這些問題做個歸納和總結,一方面總結學習成果,使之成為自己的東西,另一方面希望能夠給其他初學爬蟲的人一些啟 […]