實戰:抓取某隻基金歷史淨值資料

實戰:抓取某隻基金歷史淨值資料

http://fund.eastmoney.com/f10/jjjz_519961.html
這裡寫圖片描述

1、接下來,我們需要動手把這些html抓取下來(這部分知識我們之前已經學過,現在不妨重溫)

# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html頁面的程式碼
# 初始化函式
def initSpider():
driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執行檔案的絕對路徑")
driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網頁地址
# 找到"下一頁"按鈕,就可以得到它前面的一個label,就是總頁數
getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一頁']/preceding-sibling::label[1]").get_attribute("innerHTML")
# 得到總共有多少頁
total_page = int("".join(filter(str.isdigit, getPage_text)))
# 返回
return (driver,total_page)
# 獲取html內容
def getData(myrange,driver,lock):
for x in myrange:
# 鎖住
lock.acquire()
tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']")  # 得到 頁碼文字框
jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']")  # 跳轉到按鈕
tonum.clear()  # 第x頁 輸入框
tonum.send_keys(str(x))  # 去第x頁
jumpbtn.click()  # 點選按鈕
# 抓取
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
# 儲存到專案中
with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
f.close()
# 解鎖
lock.release()
# 開始抓取函式
def beginSpider():
# 初始化爬蟲
(driver, total_page) = initSpider()
# 建立鎖
lock = Lock()
r = range(1, int(total_page) 1)
step = 10
range_list = [r[x:x   step] for x in  range(0, len(r), step)]   #把頁碼分段
thread_list = []
for r in  range_list:
t = Thread(target=getData, args=(r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 這一步是需要的,等待執行緒全部執行完成
print("抓取完成")
# #################上面程式碼就完成了 抓取遠端網站html內容並儲存到專案中的 過程

需要說明一下這3個函式:
initSpider函式,初始化了selenium的webdriver物件,並且先獲取到我們需要抓取頁面的總頁碼數。
getData函式,有3個引數,myrange我們還是要分段抓取,之前我們學過多程序抓取,這裡我們是多執行緒抓取;lock引數用來鎖住執行緒的,防止執行緒衝突;driver就是我們在initSpider函式中初始化的webdriver物件。
getData函式中,我們迴圈myrange,把抓取到的html內容儲存到了專案目錄中。
beginSpider函式,我們在此函式中給總頁碼分段,並且建立執行緒,呼叫getData

所以最後執行:

beginSpider()

就開始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 這個基金的”歷史淨值明細”,共有31個頁面。
這裡寫圖片描述

2、根據已經學過的python和mysql互動的知識,我們也可以再把這些資料 寫入到資料表中。
這裡就不再贅述,給出基金詳細表結構:

CREATE TABLE `fund_detail` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金程式碼',
`fdate` datetime DEFAULT NULL COMMENT '基金日期',
`NAV` decimal(10,4) DEFAULT NULL COMMENT '單位淨值',
`ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累計淨值',
`DGR` varchar(20) DEFAULT NULL COMMENT '日增長率',
`pstate` varchar(20) DEFAULT NULL COMMENT '申購狀態',
`rstate` varchar(20) DEFAULT NULL COMMENT '贖回狀態',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金詳細資料表';