收穫人生第一個5kStar開源項目,經驗教訓分享給大家

NO IMAGE

前言

開發產品永遠都是既痛苦,又開心的事情。一方面因為不瞭解用戶真實需求、害怕閉門造車、擔心技術無法實現而痛苦;另一方面,卻會因為取得小小成就、獲得用戶認可、不斷幫助用戶解決問題而開心,從而繼續堅持下去。Crawlab 就是這樣讓我既痛苦又開心的開源項目。它從去年 3 月份提交第一次 commit,到最近,已經在 Github 上積攢了 5k Star,成長為了最受歡迎的開源爬蟲管理平臺。其中,Crawlab 多次上榜到 Github Trending,不斷被全球的開發者所認識瞭解;同時,也被碼雲 Gitee、開源中國所收錄,讓更多國內開發者所熟知。社區也不斷完善,微信群成員已接近 1.2k,每天都有人在上面各種諮詢問題和交流經驗。同時 Github 上也有很多熱心用戶在上面提出各種 Issue,幫助我們優化產品。

從最開始的 Flask + Celery 架構,到如今用 Golang 自研開發調度引擎,經歷了很多次大大小小的迭代。產品不斷成熟的同時,也在不斷髮展。相信不久將衍生出更多實用的功能,包括用戶們提出的各種很好的反饋建議。

下圖是 Crawlab 的 Github 累計 Star 趨勢圖,可以看出 Crawlab 已達到 5k Star 的過程中經歷了兩次大的增長以及不斷的小規模增長。

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

本文的目的主要是記錄一下自己和小夥伴們一起努力的里程碑。去年 8 月份的時候(8 個月前),我寫了一篇文章, 《如何打造一個上千Star的Github項目》,探討了如何獲取 Github 的關注度,打造受人歡迎的產品。

項目簡介

Crawlab 是基於 Golang 的分佈式爬蟲管理平臺,支持多種編程語言以及多種爬蟲框架。對爬蟲管理平臺不瞭解的同學,可以參考這篇文章,《如何快速搭建實用的爬蟲管理平臺》,裡面有對爬蟲管理平臺詳細的介紹。

查看演示 Demo

項目自 2019 年 4 月份上線以來受到爬蟲愛好者們和開發者們的好評,超過一半的使用者表示已經在用 Crawlab 作為公司的爬蟲管理平臺。經過近數月的迭代,我們陸續上線了 定時任務、數據分析、可配置爬蟲、SDK、消息通知、Scrapy 支持、Git 同步 等功能,將 Crawlab 打造得更加實用,更加全面,能夠真正幫助用戶解決爬蟲管理困難的問題。

Crawlab 主要解決的是大量爬蟲管理困難的問題,例如需要監控上百個網站的參雜 scrapyselenium 的項目不容易做到同時管理,而且命令行管理的成本非常高,還容易出錯。Crawlab 支持任何語言和任何框架,配合任務調度、任務監控,很容易做到對成規模的爬蟲項目進行有效監控管理。

Crawlab 可以很容易的將開發者的爬蟲集成進來。配合 CLI 工具,您可以將任何爬蟲項目上傳到 Crawlab,並被同步到所有的節點上,形成分佈式架構。另外,Crawlab 自帶的 SDK 讓您可以非常輕鬆的將抓取到數據可視化到 Crawlab 界面中。您可以在界面上查看、下載抓取到的任務結果(如下圖)。

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

項目發展

Crawlab 到如今已經有 1 年了,在 Github 上的 Star 數量已過半萬,但這還不能說明任何問題。之前有網友指出,Github 上的 Star 數並不能說明問題,其實在淘寶上也可以買到 Star… 另一個有趣的事實是,很多在 Github 上成千上完 Star 數的作品,竟然是 Markdown 項目。什麼是 Markdown 項目?也就是這個項目中沒有多少可執行的代碼文件,絕大多數是寫滿技術知識的 Markdown 文件,可以是面試題,可以是知識整理,也可以是唐詩宋詞,等等。這些 Markdown 項目的盛行,反映了開發者們的知識焦慮。其實,有時候,專心使用一個項目,多閱讀理解一下源碼,甚至自己動手碼幾行代碼,也是能不斷提高自己的。我是一個野生程序員,不喜歡底層原理和理論推導,喜歡拿起鍵盤,埋頭開(fu)發(zhi)產(zhan)品(tie)。因此,我喜歡在產品中找到用戶的痛點,並用技術的方式加以解決。

下圖是 Crawlab 項目的發展歷程。

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

可以看到,項目初期是用 Flask + Celery 來完成分佈式調度邏輯的,這其實是無奈之舉。因為當時我最熟悉的語言是 Python,不會 Java、不會 Golang、不會 C++,因此選擇了當時上手最快的 Python 作為主力編程語言,為後來的更換框架埋下伏筆。

積攢了首批用戶之後,他們提出了各種各樣的意見和反饋。其中有用 Docker 來部署的建議,這成為了後來部署 Crawlab 的首選。還有人提出可配置爬蟲的概念(當時不是這個名字,可配置爬蟲是我取的名字),我也用 Python 把它實現了出來。

但非常令人惱火的是,在 v0.2.x 版本的時候,定時任務經常出各種各樣的 Bug:有時會重複執行兩次或多次;有時會不按時間執行;有時甚至壓根漏掉執行。更讓人擔憂的是,當爬蟲的數量增加的時候,後端的壓力開始加大,每次返回結果需要耗費 1 秒甚至幾秒的時間。連我自己使用起來都很難受。於是,我開始從根本上思考,是不是 Python 這一套架構根本滿足不了我們的需求。

而恰巧我當時在掘金小冊上購買了關於 Golang 學習的課程,自然而然的想到應該用 Golang 來重構 Crawlab 的後端應用。因此,在邊學邊練的情況下,我將 Crawlab 從 Python 版本重構為了 Golang 版本,併發布為了 v0.3 版本。重構後的 Crawlab 像是升了好幾級一樣,不管是從性能還是穩定性上輕輕鬆鬆碾壓 Python 版本。Bug 不再多了,響應也不再延遲了,併發數也高了。更好的一點是,Golang 是靜態類型語言,可以非常方便的規避一些因為類型產生的低級錯誤(成本是需要更多的代碼量)。我覺得用 Golang 重構 Crawlab 是這個項目中最成功的決定。

相比於 Golang 重構帶來的受歡迎效應,我覺得 v0.4.x 相對來說就沒那麼直接了。很多 v0.4.x 的迭代功能都是根據用戶的反饋來的,包括消息通知、權限管理、界面安裝依賴、Scrapy 支持等等。這些功能都是針對許多需要在企業中應用爬蟲管理平臺的用戶開發的。現在我不知道有多少企業在真正使用 Crawlab,但我相信隨著 Crawlab 的不斷完善,跟多的中小企業、甚至是大型企業可以開箱即用的將 Crawlab 部署使用起來,進一步推廣給其他有需求的用戶。

項目經驗

Crawlab 帶來的經驗教訓非常多。很多人都在問我,是什麼讓你堅持了這麼久來開發一個免費產品呢?又有很多人也在問我為什麼不開發商業版呢?這些問題我覺得都是自然而然的,也是理所當然的。就我來看,要做好一個開源項目,光光是有這個 idea 是不行的,當然靠此賺錢的這種思想更會將項目帶往歧途。以下幾點,是我覺得打造一個受歡迎的開源項目的要素。

尋找痛點,並嘗試解決

很多人在工作生活自身有不少痛點。如果能發現這些痛點(注意,是 “痛”,而不是 “癢”),就很可能會發現一個解決它的機會。我們可以從身邊來嘗試尋找痛點。例如,Crawlab 就是在思考一個工作問題時誕生的。我所在的部門有上百個爬蟲,其中包括了 Selenium 爬蟲和其他類型的爬蟲。我們當時的爬蟲管理方式和實現方式都有非常多的侷限性,導致了擴展性不高、排查異常困難等問題。我們有一個 Web UI 界面,但是僅僅侷限於業務,沒有專注於爬蟲本身。作者當時思考,是不是隻有我們公司才遇到這個問題,還是這個問題是一個普遍問題,幾乎每個需要爬蟲的公司都會遇到。

當然,僅僅是找到這個痛點還不夠,還需要驗證它。例如,我為了驗證之前這個假設,花了半個月的時間做了一個最小可行性產品(MVP),Crawlab v0.1 版本,只有最基本的執行爬蟲腳本的功能。結果,第一版發佈後陸陸續續收到正面反饋,也有不少改進建議。第一天的 Star 數就達到了 30,後面兩天漲到了100。這驗證了我的假設,爬蟲管理困難這個問題是普遍存在的,大家都覺得 Crawlab 是個不錯的 idea,願意來嘗試。這才開始讓作者更有動力不斷完善這個產品。所以,從身邊的問題出發是個很好的開始。

通過用戶調研完善產品

很多人開發產品都是閉門造車,企圖一廂情願的讓用戶愛上他們的產品。這對於技術人員來說是一個陷阱,我們需要時刻警惕不要陷入敝帚自珍的境地無法自拔。怎麼來了解用戶需求呢?一個很有效的方法就是用戶調研。

《如何打造一個上千Star的Github項目》 中,我提到有兩種用戶調研的方式。一種是直接詢問。我經常在微信群中詢問用戶關於 Crawlab 的使用情況,是否有什麼可以提升的,哪些地方使用比較困難,有什麼 Bug,之類的問題。很多時候,我都能夠獲得相應的反饋,有時而且是比較重要的反饋。另一種方式是問卷調查。這種方式比較客觀,可以定量的獲取用戶的使用狀況,這對我們瞭解用戶使用情況是非常有幫助的。例如,我會定期利用問卷星設計調查問卷並投放到微信群裡,通常能收到幾十上百個答案。這個樣本對調查來說已經足夠,而且問卷星可以幫助分析各個問題的數據分佈情況,能夠一目瞭然看到使用和需求情況。

不要低估產品推廣的力量

其實這一部分就是營銷和運營。當產品推出時,應該第一時間讓用戶知道並試用你的產品。因為這樣才能即時獲得用戶反饋,才有機會不斷完善你的產品。推廣的渠道多種多樣。第一,可以是寫文章,每次發佈的時候,我會在掘金、SF、V2ex、開源中國等平臺上寫發佈文章,介紹新的功能,以及產品規劃等等,讓更多的用戶瞭解並試用 Crawlab。第二,需要做SEO,Crawlab 的文檔網站被推到了百度索引,讓百度能夠不斷收錄 Crawlab 的頁面,並根據其內部的算法將品牌詞例如 “Crawlab”、“爬蟲管理平臺” 排到前幾位。第三,打造 Demo 平臺,這是用戶能夠試用產品的最簡單的方式,用戶會第一眼看到你的產品,根據外觀、功能來決定是否要進一步安裝、使用,實踐證明,這是非常有效的手段。

總結

爬蟲管理平臺 Crawlab 到如今已經進入第二年。Crawlab 是一個後起之秀,相比於前輩 Gerapy、SpiderKeeper、ScrapydWeb 來說,更加年輕,也更加靈活和實用。因此才會有這麼多人來嘗試使用 Crawlab。打造開源產品是個需要長期經營的事業,那種一夜沖天的 “暴發戶” 不是人人都能夠創造的。因此,需要保持耐心以及匠人精神。所謂匠人精神,不是將產品打造得多完美,而是將產品打造得更接地氣,更加使用友好,更能讓用戶滿意,更能解決用戶的問題,這才算是匠人精神。所以,我們不能閉門造車,一味的追求技術上的完美,而忽略了用戶真正的問題。Crawlab 在解決用戶的問題上,還有很長的道路需要走。但我們不擔心,因為我們現在有強大的開發組,不斷成長的社區,和不斷給出反饋意見的用戶。相信第二年,Crawlab 會解決更多用戶的問題,讓爬蟲變得簡單,迎來第二個 5k Star。

希望本篇文章對您的工作和學習有所幫助,有任何疑問,請加作者微信 tikazyq1,或者在底部留言提問,作者將盡力回答。謝謝!

收穫人生第一個5kStar開源項目,經驗教訓分享給大家

參考

相關文章

若川的2019年度總結,波瀾不驚

學習axios源碼整體架構,打造屬於自己的請求庫

前端知識梳理(一)

爬蟲管理平臺Crawlab專業版v0.1.0正式發佈