[python爬蟲] Selenium常見元素定位方法和操作的學習介紹

        這篇文章主要Selenium Python自動測試或爬蟲中的常見定位方法、滑鼠操作、鍵盤操作介紹,希望該篇基礎性文章對你有所幫助,如果有錯誤或不足之處,請海涵~
        前文目錄:
        [Python爬蟲]
在Windows下安裝PhantomJS和CasperJS及入門介紹(上)

        [Python爬蟲]
在Windows下安裝PIP Phantomjs Selenium

        [Python爬蟲]
Selenium自動訪問Firefox和Chrome並實現搜尋截圖

        [Python爬蟲] Selenium實現自動登入163郵箱和Locating Elements介紹
        [Python爬蟲] Selenium Phantomjs動態獲取CSDN下載資源資訊和評論

一. 定位元素方法

        官網地址:http://selenium-python.readthedocs.org/locating-elements.html
        這裡有各種策略用於定位網頁中的元素(locate elements),你可以選擇最適合的方案,Selenium提供了一下方法來定義一個頁面中的元素:

  • find_element_by_id
  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_partial_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector

        下面是查詢多個元素(這些方法將返回一個列表):

  • find_elements_by_name
  • find_elements_by_xpath
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector

        除了上面給出的公共方法,這裡也有兩個在頁面物件定位器有用的私有方法。這兩個私有方法是find_element和find_elements。
        常用方法是通過xpath相對路徑進行定位,同時CSS也是比較好的方法。舉例:

<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input name="continue" type="submit" value="Login" />
<input name="continue" type="button" value="Clear" />
</form>
</body>
<html>

        定位username元素的方法如下:

username = driver.find_element_by_xpath("//form[input/@name='username']")
username = driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")
username = driver.find_element_by_xpath("//input[@name='username']")

        [1] 第一個form元素通過一個input子元素,name屬性和值為username實現
        [2] 通過id=loginForm值的form元素找到第一個input子元素
        [3] 屬性名為name且值為username的第一個input元素

二. 操作元素方法

        在講述完定位物件(locate elements)之後我們需要對該已定位物件進行操作,通常所有的操作與頁面互動都將通過WebElement介面,常見的操作元素方法如下:

  • clear 清除元素的內容
  • send_keys 模擬按鍵輸入
  • click 點選元素
  • submit 提交表單

        舉例自動訪問FireFox瀏覽器自動登入163郵箱。

from selenium import webdriver  
from selenium.webdriver.common.keys import Keys  
import time
# Login 163 email
driver = webdriver.Firefox()  
driver.get("http://mail.163.com/")
elem_user = driver.find_element_by_name("username")
elem_user.clear
elem_user.send_keys("15201615157")  
elem_pwd = driver.find_element_by_name("password")
elem_pwd.clear
elem_pwd.send_keys("******")  
elem_pwd.send_keys(Keys.RETURN)
#driver.find_element_by_id("loginBtn").click()
#driver.find_element_by_id("loginBtn").submit()
time.sleep(5)  
assert "baidu" in driver.title  
driver.close()  
driver.quit()  

        首先通過name定位使用者名稱和密碼,再呼叫方法clear()清除輸入框預設內容,如“請輸入密碼”等提示,通過send_keys(“**”)輸入正確的使用者名稱和密碼,最後通過click()點選登入按鈕或send_keys(Keys.RETURN)相當於回車登入,submit()提交表單。
        PS:如果需要輸入中文,防止編碼錯誤使用send_keys(u”中文使用者名稱”)。

三. WebElement介面獲取值

        通過WebElement介面可以獲取常用的值,這些值同樣非常重要。

  • size 獲取元素的尺寸
  • text 獲取元素的文字
  • get_attribute(name) 獲取屬性值
  • location 獲取元素座標,先找到要獲取的元素,再呼叫該方法
  • page_source 返回頁面原始碼
  • driver.title 返回頁面標題
  • current_url 獲取當前頁面的URL
  • is_displayed() 設定該元素是否可見
  • is_enabled() 判斷元素是否被使用
  • is_selected() 判斷元素是否被選中
  • tag_name 返回元素的tagName

        舉例程式碼如下:

from selenium import webdriver  
from selenium.webdriver.common.keys import Keys  
import time
driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")   
driver.get("http://www.baidu.com/")
size = driver.find_element_by_name("wd").size
print size
#尺寸: {'width': 500, 'height': 22}
news = driver.find_element_by_xpath("//div[@id='u1']/a[1]").text
print news
#文字: 新聞
href = driver.find_element_by_xpath("//div[@id='u1']/a[2]").get_attribute('href')
name = driver.find_element_by_xpath("//div[@id='u1']/a[2]").get_attribute('name')
print href,name
#屬性值: http://www.hao123.com/ tj_trhao123
location = driver.find_element_by_xpath("//div[@id='u1']/a[3]").location
print location
#座標: {'y': 19, 'x': 498}
print driver.current_url
#當前連結: https://www.baidu.com/
print driver.title
#標題: 百度一下, 你就知道
result = location = driver.find_element_by_id("su").is_displayed()
print result
#是否可見: True

        其中圖片解釋如下圖所示。

四. 滑鼠操作

        在現實的自動化測試中關於滑鼠的操作不僅僅是click()單擊操作,還有很多包含在ActionChains類中的操作。如下:

  • context_click(elem) 右擊滑鼠點選元素elem,另存為等行為
  • double_click(elem) 雙擊滑鼠點選元素elem,地圖web可實現放大功能
  • drag_and_drop(source,target) 拖動滑鼠,源元素按下左鍵移動至目標元素釋放
  • move_to_element(elem) 滑鼠移動到一個元素上
  • click_and_hold(elem) 按下滑鼠左鍵在一個元素上
  • perform() 在通過呼叫該函式執行ActionChains中儲存行為

        舉例如下圖所示,獲取通過滑鼠右鍵另存為百度圖片logo。程式碼:

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
#滑鼠移動至圖片上 右鍵儲存圖片
elem_pic = driver.find_element_by_xpath("//div[@id='lg']/img")
print elem_pic.get_attribute("src")
action = ActionChains(driver).move_to_element(elem_pic)
action.context_click(elem_pic)
#重點:當右鍵滑鼠點選鍵盤游標向下則移動至右鍵選單第一個選項
action.send_keys(Keys.ARROW_DOWN)
time.sleep(3)
action.send_keys('v') #另存為
action.perform()
#獲取另存為對話方塊(失敗)
alert.switch_to_alert()
alert.accept()

        效果如下圖所示,通過xpath定位到圖片位置並右擊滑鼠,在彈出的選單中選擇“另存為圖片”。但是如何點選“另存為對話方塊”的“儲存”按鈕是個難點,目前剛學習階段,境界沒到無法解決。原因:
        WebDriver cannot directly interact with dialog windows this is because dialog windows are the domain of the operating system and
not the webpage.

  

        該部分推薦參考資料:
            selenium 右鍵下載圖片,結合sikuli – tobecrazy
            Selenium WebDriver 中滑鼠和鍵盤事件分析及擴充套件
            Selenium Windows Save/Open Open Dialouge – StackOver
            書籍《selenium2 python自動化測試》 作者:蟲師

五. 鍵盤操作

        參考:http://selenium-python.readthedocs.org/api.html
        前面講述了滑鼠操作,現在講述鍵盤操作。在webdriver的Keys類中提供了鍵盤所有的按鍵操作,當然也包括一些常見的組合鍵操作如Ctrl A(全選)、Ctrl C(複製)、Ctrl V(貼上)。更多鍵參考官方文件對應的編碼。

  • send_keys(Keys.ENTER) 按下回車鍵
  • send_keys(Keys.TAB) 按下Tab製表鍵
  • send_keys(Keys.SPACE) 按下空格鍵space
  • send_keys(Kyes.ESCAPE) 按下回退鍵Esc
  • send_keys(Keys.BACK_SPACE) 按下刪除鍵BackSpace
  • send_keys(Keys.SHIFT) 按下shift鍵
  • send_keys(Keys.CONTROL) 按下Ctrl鍵
  • send_keys(Keys.ARROW_DOWN) 按下滑鼠游標向下按鍵
  • send_keys(Keys.CONTROL,’a’) 組合鍵全選Ctrl A
  • send_keys(Keys.CONTROL,’c’) 組合鍵複製Ctrl C
  • send_keys(Keys.CONTROL,’x’) 組合鍵剪下Ctrl X
  • send_keys(Keys.CONTROL,’v’) 組合鍵貼上Ctrl V

        這裡使用的例子參考蟲師的書籍《selenium2 python自動化測試》,推薦該書給大家。程式碼還是非常有意思的,大家自己去感受下吧~

#coding=utf-8
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
#輸入框輸入內容
elem = driver.find_element_by_id("kw")
elem.send_keys("Eastmount CSDN")
time.sleep(3)
#刪除一個字元CSDN 回退鍵
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
time.sleep(3)
#輸入空格 "部落格"
elem.send_keys(Keys.SPACE)
elem.send_keys(u"部落格")
time.sleep(3)
#ctrl a 全選輸入框內容
elem.send_keys(Keys.CONTROL,'a')
time.sleep(3)
#ctrl x 剪下輸入框內容
elem.send_keys(Keys.CONTROL,'x')
time.sleep(3)
#輸入框重新輸入搜尋
elem.send_keys(Keys.CONTROL,'v')
time.sleep(3)
#通過回車鍵替代點選操作
driver.find_element_by_id("su").send_keys(Keys.ENTER)
time.sleep(3)
driver.quit()

       
最後希望文章對你有所幫助吧,如果有錯誤或不足之處,還請海涵~同時接下來學習下Linux和下面作者的文章。
        http://www.dotblogs.com.tw/larrynung/archive/2012/09/26/75065.aspx
      (By:Eastmount 2016-7-10 下午1點   http://blog.csdn.net/eastmount/