當python爬蟲遇到10060錯誤

相信做過網站爬蟲工作的同學都知道,python的urllib2用起來很方便,使用以下幾行程式碼就可以輕鬆拿到某個網站的原始碼:

#coding=utf-8
import urllib
import urllib2
import re
url = "http://wetest.qq.com"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
print html

最後通過一定的正則匹配,解析返回的響應內容即可拿到你想要的東東。

但這樣的方式在辦公網和開發網下,處理部分外網站點時則會行不通。

比如:http://tieba.baidu.com/p/2460150866,執行時一直報10060的錯誤碼,提示連線失敗。

#coding=utf-8
import urllib
import urllib2
import re
url = "http://tieba.baidu.com/p/2460150866"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
print html

執行後,錯誤提示截圖如下:

為了分析這一問題的原因,擼主採用瞭如下過程:
1、在瀏覽器裡輸入,可以正常開啟,說明該站點是可以訪問的。
2、同樣的指令碼放在公司的體驗網上執行OK,說明指令碼本身沒有問題。
       通過以上兩個步驟,初步判斷是公司對於外網的訪問策略限制導致的。於是查詢了下如何給urllib2設定ProxyHandler代理 ,將程式碼修改為如下:

#coding=utf-8
import urllib
import urllib2
import re
# The proxy address and port:
proxy_info = { 'host' : 'web-proxy.oa.com','port' : 8080 }
# We create a handler for the proxy
proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})
# We create an opener which uses this handler:
opener = urllib2.build_opener(proxy_support)
# Then we install this opener as the default opener for urllib2:
urllib2.install_opener(opener)
url = "http://tieba.baidu.com/p/2460150866"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
print html

再次執行,可以拿到所要的Html頁面了。

到這裡就完了麼?沒有啊!擼主想拿到貼吧裡的各種美圖,儲存在本地,上程式碼吧:

#coding=utf-8
import urllib
import urllib2
import re
# The proxy address and port:
proxy_info = { 'host' : 'web-proxy.oa.com','port' : 8080 }
# We create a handler for the proxy
proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})
# We create an opener which uses this handler:
opener = urllib2.build_opener(proxy_support)
# Then we install this opener as the default opener for urllib2:
urllib2.install_opener(opener)
url = "http://tieba.baidu.com/p/2460150866"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
#正則匹配
reg = r'src="(. ?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
print 'start dowload pic'
x = 0
for imgurl in imglist:
urllib.urlretrieve(imgurl,'pic\\%s.jpg' % x)
x = x 1

再次執行,發現還是有報錯!尼瑪!又是10060報錯,我設定了urllib2的代理了啊,為啥還是報錯!

於是擼主繼續想辦法,一定要想拿到貼吧裡的各種美圖。既然通過正則匹配可以拿到貼吧裡的圖片的url,為何不手動去呼叫urllib2.urlopen去開啟對應的url,獲得對應的response,然後read出對應的圖片二進位制資料,然後儲存圖片到本地檔案。於是有了下面的程式碼:

#coding=utf-8
import urllib
import urllib2
import re
# The proxy address and port:
proxy_info = { 'host' : 'web-proxy.oa.com','port' : 8080 }
# We create a handler for the proxy
proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})
# We create an opener which uses this handler:
opener = urllib2.build_opener(proxy_support)
# Then we install this opener as the default opener for urllib2:
urllib2.install_opener(opener)
url = "http://tieba.baidu.com/p/2460150866"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
#正則匹配
reg = r'src="(. ?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0
print 'start'
for imgurl in imglist:
print imgurl
resp = urllib2.urlopen(imgurl)
respHtml = resp.read()
picFile = open('%s.jpg' % x, "wb")
picFile.write(respHtml)
picFile.close()
x = x 1
print 'done'

再次執行,發現還是圖片的url按預期的列印出來,並且圖片也被儲存下來了:

  至此,已完成擼主原先要做的目的。哈哈,希望總結的東東對其他小夥伴也有用。

  本文由騰訊WeTest團隊提供,更多資訊可直接戳連結檢視:http://wetest.qq.com/lab/
  微訊號:TencentWeTest