java爬蟲

爬蟲專案(二)用phantomjs做爬蟲

這幾天有事沒怎麼研究,最開始用的java爬蟲想爬取攜程,結果失敗告終。 主要表現在: 1.抓取不到對應的標籤,jsoup語法對應的element個數是0,推測是因為直接用get方法獲取機票資訊時,該網站不顯示和價格資訊有關的elemengt,故抓取不到。 2.抓取到的資料是錯誤的。價格和真正標價的相 […]

Android實現正方系統的登入以及課程表,成績獲取和空課室的查詢(二)

      上篇說了怎麼實現登入的原理以及實現,接下來就是實現如何獲得課程表,成績以及空課室的資訊了。其實原理很簡單,如果你真的有認真看上一篇的登入實現步驟的話,其實很快就會得到結果。        因為原理都差不多,這裡我只說如何獲取課程表的資訊,因為其他的功能都和這個功能的資料獲取差不多。   […]

總結一下五種實現網路爬蟲的方法(一,基於socket通訊編寫爬蟲)

最近呢,由於實習需要呢,複習一遍爬蟲,前斷時間閉關刷題去了,也會把刷題心得總結成部落格分享給大家,比如java集合類特性及原始碼解析,作業系統資料結構的一些演算法,設計模式等,放心,肯定不會鴿的,雖然可能會晚一點寫。 言歸正傳,java實現網路爬蟲一般有五種方法(據我所知,要是有其他方法的同學歡迎分 […]