爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

NO IMAGE

前言

爬蟲管理平臺旨在解決大量不同類別爬蟲難以管理的問題,能夠在一體化平臺中部署調度、監控爬蟲程序,做到高效數據抓取,讓工程師們不再被繁瑣的爬蟲管理問題所困擾,能夠將主要精力放在爬蟲開發上。分佈式爬蟲管理平臺 Crawlab 就是為了解決核心問題而誕生的。自去年 3 月份發佈以來,Crawlab 受到很多開發者喜愛,如今在 Github 上已有 6.3k Stars,到目前為止使用過 Crawlab 的用戶數(不包括 Demo)已經超過 6k,而且這些數字還在不斷高速增長。Crawlab 是一個基於 Golang 的分佈式爬蟲管理平臺,包括爬蟲自動部署、分佈式調度、日誌監控、定時任務、數據分析、可配置爬蟲、SDK、消息通知、Scrapy 支持、Git 同步等功能。Crawlab 具有強大的功能以及精美的前端頁面,在市面上屬於領先的爬蟲管理平臺,比基於 Scrapyd 的爬蟲管理平臺更靈活和實用。

但目前 Crawlab 也有部分不足,就是在一些企業級應用場景,例如大吞吐量數據抓取、大量日誌寫入、監控報警、集成 MySQL/Kafka/ES 等其他數據源,性能、穩定性或功能上會有所欠缺。因此,為了解決這些問題,讓 Crawlab 更好的應用在企業級環境中,我們推出了 Crawlab 專業版(Crawlab Pro),讓工程師能夠在較高的數據吞吐量上穩定運行爬蟲程序。

專業版

Crawlab 專業版 (Crawlab Pro) 是針對專業用戶開發的。它穩定性更高,相較於社區版(開源版)功能更強大。專業版在底層特別是數據庫層面做了大量的優化,保證爬蟲任務能夠穩定而高效的運行並抓取數據。此外,專業版相較於社區版有很多強大的專屬功能,例如節點、數據庫監控功能,SQL 數據庫 (MySQL、Postgres) 集成等等。近期我們將上線 Kafka、ElasticSearch 集成的功能,以幫助 Crawlab 用戶更好的集成自己的數據系統 (例如數據倉庫)。在未來,我們將支持更加高級的可配置爬蟲。

性能監控

性能監控是 Crawlab 專業版的專屬功能,讓用戶能夠在不用額外監控軟件的情況下輕鬆監控節點和數據庫性能指標。你要知道,部署安裝一套 Zabbix、StatsD、Prometheus + Grafana 等專用監控解決方案的時間成本和維護成本可不小。有了專業版,您可以隨時掌握自己節點和數據庫的 CPU、內存、磁盤、網絡等性能情況,在必要時進行擴容或合理分配爬蟲資源。

專業版的主頁中增加了性能監控的儀表盤,可以實時查看到 MongoDB、Redis、節點的性能指標。

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

此外,您還可以在 “監控” 頁面查看性能指標的時間序列圖表,能夠一目瞭然查看歷史性能數據,快速識別性能瓶頸。

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

您不需要做任何其他操作就可以讓監控功能工作起來,您需要做的只是將 Crawlab 專業版節點運行起來,部署步驟與社區版一模一樣,對於已經掌握的開發者來說非常簡單,沒有任何學習成本。對於第一次接觸 Crawlab 的朋友來說,只需要學習一下 Docker 的安裝和操作。有了 Crawlab 專業版之後,您幾乎不需要花時間和精力安裝其他複雜的監控軟件了。

更多數據源支持

有不少用戶反饋說他們的儲存數據庫不是 MongoDB,而是 MySQL、Postgres、SQL Server 這樣的傳統關係型數據庫。因此,在專業版中,我們增加了對這些關係型數據庫的支持,讓用戶能夠直接利用 SDK 將數據保存在 MySQL、Postgres、SQL Server 中。

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

Kafka 支持(即將上線)

很多用戶是將數據通過 Kafka 上報數據倉庫儲存的。因此,對於這部分用戶來說,我們正在開發對 Kafka 的 SDK 支持。

其他功能建議

我們開發 Crawlab 專業版主要是為了讓企業級要求的用戶使用起來更方便,希望能夠獲得真實而重要的用戶反饋。因此,如果您有什麼好的想法和建議,請隨時聯繫我們,可以加微信 tikazyq1 一起討論。

技術服務

在與 Crawlab 用戶溝通的過程中,我們發現不少用戶希望能夠快速上手 Crawlab,但是又苦於對 Docker 或 Crawlab 部署方式不瞭解,很多時候時間也比較緊張經不起折騰,但是用戶也很想使用 Crawlab。為了解決這個問題,我們推出了專業的技術支持服務,以幫助希望在生產環境使用 Crawlab、或希望快速體驗 Crawlab 的企業或個人用戶。

同時,對於專業版用戶,我們提供免費的技術諮詢服務,讓用戶們能夠無障礙使用爬蟲管理平臺 Crawlab,及時對使用過程中出現的問題進行答疑解惑。

什麼是技術支持服務

技術支持服務是一種專業服務,是幫助不希望折騰 Crawlab 的用戶快速解決問題的一種有償服務。技術支持服務通常是由 Crawlab 專業人員,通常是開發組工程師,提供遠程協助,例如幫助部署 Crawlab、添加 Crawlab 節點、安裝爬蟲依賴等等。

什麼是技術諮詢服務

技術諮詢服務是針對專業版用戶的免費諮詢服務,是開發組幫助專業版用戶答疑解惑的技術服務。諮詢服務主要是針對用戶在部署使用 Crawlab 過程中的一些答疑,配合技術文檔,讓用戶能更快的自行解決自己遇到的問題。

為什麼需要技術支持服務和技術諮詢服務

根據調查,有不少爬蟲開發人員並不瞭解部署 Crawlab 或者在生產環境中使用 Crawlab 的相關技術,例如基礎的 Docker、Docker Compose、MongoDB、Redis,或者高級一點的 Kubernetes(K8S)、數據庫遷移等等。我們推出技術支持服務和技術諮詢服務,是為了讓大家更加輕鬆的使用 Crawlab 來管理爬蟲,將主要精力放在開發和維護爬蟲,而不是將大量的時間和精力消耗在平臺維護上面。對於技術支持服務,由於涉及到人工成本,我們將其作為有償的技術服務,後面會詳細介紹技術支持服務的價格。

技術支持服務內容

技術支持服務的內容包含但並不限於以下內容:

  • 部署 Crawlab 服務
  • 添加 Crawlab 節點
  • 升級 Crawlab
  • 安裝爬蟲依賴
  • 部署遷移數據庫
  • 備份數據
  • 安裝維護K8S集群
  • 優化服務架構
  • 爬蟲開發技術指導
  • 解決疑難雜症

如何購買

我們為用戶提供了兩個購買選項:專業版產品 (不含技術支持)和專業版產品 (含技術支持)。詳情如下:

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

如果您需要購買專業版,請掃描以下二維碼,或者加 tikazyq1 微信,並註明 “crawlab-pro”,我們將向您提供購買專業版相關的詳細信息。您需要告訴我們您希望通過何種方式付款,我們目前支持微信支付(對公或對私)、支付寶(對公或對私)、銀行對公轉賬。

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈

參考

相關文章

學習redux源碼整體架構,深入理解redux及其中間件原理

若川的2019年度總結,波瀾不驚

學習axios源碼整體架構,打造屬於自己的請求庫

前端知識梳理(一)