推薦系統相關工具簡介
下面對上篇《推薦系統架構及流程說明》中提到的相關工具做個簡單介紹。 1、Lambda架構 Lambda架構的目標是設計出一個能滿足實時大資料系統關鍵特性的架構，包括有：高容錯、低延時和可擴充套件等。Lambda架構整合離線計算和實時計算，融合不可變性（Immunability），讀寫分 […]
實用案例
推薦系統架構及流程說明
個性化推薦系統，實現了新聞、二手資訊等多種型別的資訊的個性化推薦，每一個使用者都會擁有屬於自己的個性化推薦列表。下面簡單介紹推薦架構及推薦流程。 本推薦架構參照Lambda架構，分為三層：批處理層、實時處理層和服務層。 （1）批處理層：主要元件是HDFS、Hbase和Spark MLli […]
- 2018.08.07
- ei全文, gdpr全文, vicopy全文, 全文檢索elasticsearch, 圓周率全文,
全文檢索系統技術架構及流程說明
技術架構圖 索引的建立 根據檔案來源，分為hadoop資料和oarcle資料兩類。 （1） hadoop資料 線上網盤的文字檔案和非文字檔案都儲存在hadoop的hdfs或hbase資料表中，推薦系統的網頁檔案也儲存在hbase表中。這些檔案通過tika、Jsoup等文字提取或文字解析工具將檔名、文 […]