Python製作簡單的網頁爬蟲

NO IMAGE

1.準備工作:

工慾善其事必先利其器,因此我們有必要在進行Coding前先配置一個適合我們自己的開發環境,我搭建的開發環境是:

作業系統:Ubuntu 14.04 LTS
Python版本:2.7.6
程式碼編輯器:Sublime Text 3.0

這次的網路爬蟲需求背景我打算延續DotNet開源大本營在他的那篇文章中的需求,這裡就不再詳解。我們只抓取某一省中所有主要城市從2015-11-22到2015-10-24的白天到夜間的所有天氣情況。這裡以湖北省為例。
2.實戰網頁爬蟲:
2.1.獲取城市列表:
首先,我們需要獲取到湖北省所有城市的網頁,然後進行網頁解析。網路地址為:http://www.tianqihoubao.com/weather/province.aspx?id=420000
我們檢視該網頁的原始碼可以發現所有的城市列表都是以<td style=”height: 22px” align=”center”><a href=”城市天氣連結 城市名稱”>,因此,我們可以封裝一個函式來通過使用正規表示式獲取我們想要的資料,示例程式碼如下所示:
複製程式碼 程式碼如下:def  ShowCity():
    html=requests.get(“http://www.tianqihoubao.com/weather/province.aspx?id=420000“)
    citys= re.findall(‘<td style=”height: 22px” align=”center”><a href=”(.*?)”>’, html.text,re.S)
    for city in citys:
        print city
抓取的結果如下所示:


1 top/anlu.html" title="安陸歷史天氣查詢
2 top/badong.html" title="巴東歷史天氣查詢
3 top/baokang.html" title="保康歷史天氣查詢
4 top/caidian.html" title="蔡甸歷史天氣查詢
5 top/changyang.html" title="長陽曆史天氣查詢
6 top/chibi.html" title="赤壁歷史天氣查詢
7 top/chongyang.html" title="崇陽曆史天氣查詢
8 top/dawu.html" title="大悟歷史天氣查詢
9 top/daye.html" title="大冶歷史天氣查詢
10 top/danjiangkou.html" title="丹江口歷史天氣查詢
11 top/dangyang.html" title="當陽歷史天氣查詢
12 top/ezhou.html" title="鄂州歷史天氣查詢
13 top/enshi.html" title="恩施歷史天氣查詢
14 top/fangxian.html" title="房縣歷史天氣查詢
15 top/gongan.html" title="公安歷史天氣查詢
16 top/gucheng.html" title="谷城歷史天氣查詢
17 top/guangshui.html" title="廣水歷史天氣查詢
18 top/hanchuan.html" title="漢川歷史天氣查詢
19 top/hanyang.html" title="漢陽曆史天氣查詢
20 top/hefeng.html" title="鶴峰歷史天氣查詢
21 top/hongan.html" title="紅安歷史天氣查詢
22 top/honghu.html" title="洪湖歷史天氣查詢
23 top/huangpi.html" title="黃陂歷史天氣查詢
24 top/huanggang.html" title="黃岡歷史天氣查詢
25 top/huangmei.html" title="黃梅歷史天氣查詢
26 top/huangshi.html" title="黃石歷史天氣查詢
27 top/jiayu.html" title="嘉魚歷史天氣查詢
28 top/jianli.html" title="監利歷史天氣查詢
29 top/jianshi.html" title="建始歷史天氣查詢
30 top/jiangxia.html" title="江夏曆史天氣查詢
31 top/jingshan.html" title="京山歷史天氣查詢
32 top/jingmen.html" title="荊門歷史天氣查詢
33 top/jingzhou.html" title="荊州歷史天氣查詢
34 top/laifeng.html" title="來鳳歷史天氣查詢
35 top/laohekou.html" title="老河口歷史天氣查詢
36 top/lichuan.html" title="利川歷史天氣查詢
37 top/lvtian.html" title="羅田歷史天氣查詢
38 top/macheng.html" title="麻城歷史天氣查詢
39 top/nanzhang.html" title="南漳歷史天氣查詢
40 top/qichun.html" title="蘄春歷史天氣查詢
41 top/qianjiang.html" title="潛江歷史天氣查詢
42 top/sanxia.html" title="三峽歷史天氣查詢
43 top/shennongjia.html" title="神農架歷史天氣查詢
44 top/shiyan.html" title="十堰歷史天氣查詢
45 top/shishou.html" title="石首歷史天氣查詢
46 top/songzi.html" title="鬆滋歷史天氣查詢
47 top/suizhou.html" title="隨州歷史天氣查詢
48 top/tianmen.html" title="天門歷史天氣查詢
49 top/hbtongcheng.html" title="通城歷史天氣查詢
50 top/tongshan.html" title="通山歷史天氣查詢
51 top/wufeng.html" title="五峰歷史天氣查詢
52 top/wuchang.html" title="武昌歷史天氣查詢
53 top/wuhan.html" title="武漢歷史天氣查詢
54 top/wuxue.html" title="武穴歷史天氣查詢
55 top/hbxishui.html" title="浠水歷史天氣查詢
56 top/xiantao.html" title="仙桃歷史天氣查詢
57 top/xianfeng.html" title="咸豐歷史天氣查詢
58 top/xianning.html" title="咸寧歷史天氣查詢
59 top/xiangyang.html" title="襄陽曆史天氣查詢
60 top/xiaogan.html" title="孝感歷史天氣查詢
61 top/hbxinzhou.html" title="新洲歷史天氣查詢
62 top/xingshan.html" title="興山歷史天氣查詢
63 top/xuanen.html" title="宣恩歷史天氣查詢
64 top/hbyangxin.html" title="陽新歷史天氣查詢
65 top/yiling.html" title="夷陵歷史天氣查詢
66 top/yichang.html" title="宜昌歷史天氣查詢
67 top/yicheng.html" title="宜城歷史天氣查詢
68 top/yidu.html" title="宜都歷史天氣查詢
69 top/yingcheng.html" title="應城歷史天氣查詢
70 top/hbyingshan.html" title="英山歷史天氣查詢
71 top/yuanan.html" title="遠安歷史天氣查詢
72 top/yunmeng.html" title="雲夢歷史天氣查詢
73 top/yunxi.html" title="鄖西曆史天氣查詢
74 top/hbyunxian.html" title="鄖縣歷史天氣查詢
75 top/zaoyang.html" title="棗陽曆史天氣查詢
76 top/zhijiang.html" title="枝江歷史天氣查詢
77 top/zhongxiang.html" title="鍾祥歷史天氣查詢
78 top/zhushan.html" title="竹山歷史天氣查詢
79 top/zhuxi.html" title="竹溪歷史天氣查詢
80 top/zigui.html" title="秭歸歷史天氣查詢
81 [Finished in 15.4s]

2.2.獲取對應城市的所有天氣資訊:
然後我們需要根據抓取到的城市連結去抓取對應城市的天氣情況,這裡我們再封裝一個函式用於顯示對應城市的所有天氣狀況:


def ShowWeather(city):
res =str(city).split('" title="')
print res[1],'(白天-->夜間)'
html=requests.get("http://www.tianqihoubao.com/weather/{0}".format(res[0]))
weather=re.search('<table width="100%" border="0" class="b" cellpadding="1" cellspacing="1">(.*?)</table>', html.text,re.S).group(1)
res=re.findall('<tr>(.*?)</tr>', weather,re.S)
for x in res[2:]:
w = re.findall('>(.*?)<', x,re.S)
for y in w[1:]:
if len(y.strip())<=0:
pass
else:
print y
print '--'*40

這樣以來,我們就可以獲取到了對應城市的天氣情況了!!

完整程式碼:


#coding:UTF-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')
def ShowWeather(city):
res =str(city).split('" title="')
print res[1],'(白天-->夜間)'
html=requests.get("http://www.tianqihoubao.com/weather/{0}".format(res[0]))
weather=re.search('<table width="100%" border="0" class="b" cellpadding="1" cellspacing="1">(.*?)</table>', html.text,re.S).group(1)
res=re.findall('<tr>(.*?)</tr>', weather,re.S)
for x in res[2:]:
w = re.findall('>(.*?)<', x,re.S)
for y in w[1:]:
if len(y.strip())<=0:
pass
else:
print y
print '--'*40
print '\n','*'*40
def ShowCity():
html=requests.get("http://www.tianqihoubao.com/weather/province.aspx?id=420000")
citys= re.findall('<td style="height: 22px" align="center"><a href="(.*?)">', html.text,re.S)
for city in citys:
ShowWeather(city)
def main():
ShowCity()
if __name__=='__main__':
main()

是的,你沒有看錯,短短34行程式碼就可以爬取湖北省所有的主要城市1個月的所有天氣情況,是不是很厲害呀!!???不過不要高興的太早,凡事有利有弊,看看它的執行結果吧:[Finished in 371.8s]

3.知識總結:  

3.1.編碼問題: 
#在ubuntu上,由於編碼問題,我們需要在程式碼的開始位置新增一行註釋,告訴Pyhton直譯器我們指定的編碼格式:

#此外,我們還需要設定預設的編碼格式,否則Sublime Text會無法識別中文,報告一個錯誤:“UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position”


#-*-coding:utf8-*-
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

3.2.正規表示式:

匯入正規表示式庫:import re
匹配任意字元:.
匹配前一個字元0次或無限次:*
匹配前一個字元0次或一次:?
貪心演算法:.*
非貪心演算法:.*?
匹配數字:(\d )
常用函式:


re.findall(pattern, string)
re.search(pattern, string)
re.sub(pattern, repl, string)

最後的最後,如果你嘗試過執行我貼出來的完整程式碼,或許你會遇到和我一樣的瓶頸,就是執行的速度不夠快(尤其像我這種機器配置不是很好的電腦)。在我的機器上執行這段指令碼總共花費了 371.8s。我執行過多次,每次都是在350 。因此,如果你的程式不在乎執行速度,那麼可能Python還是挺適合的,畢竟可以通過它寫更少的程式碼去做更多的事情!!!!

您可能感興趣的文章:

python爬蟲實戰之最簡單的網頁爬蟲教程基python實現多執行緒網頁爬蟲python編寫網頁爬蟲指令碼並實現APScheduler排程Python天氣預報採集器實現程式碼(網頁爬蟲)Python構建網頁爬蟲原理分析