實用案例

推薦系統相關工具簡介

  下面對上篇《推薦系統架構及流程說明》中提到的相關工具做個簡單介紹。    1、Lambda架構   Lambda架構的目標是設計出一個能滿足實時大資料系統關鍵特性的架構,包括有:高容錯、低延時和可擴充套件等。Lambda架構整合離線計算和實時計算,融合不可變性(Immunability),讀寫分 […]

推薦系統架構及流程說明

  個性化推薦系統,實現了新聞、二手資訊等多種型別的資訊的個性化推薦,每一個使用者都會擁有屬於自己的個性化推薦列表。下面簡單介紹推薦架構及推薦流程。   本推薦架構參照Lambda架構,分為三層:批處理層、實時處理層和服務層。   (1)批處理層:主要元件是HDFS、Hbase和Spark MLli […]

全文檢索系統技術架構及流程說明

技術架構圖 索引的建立 根據檔案來源,分為hadoop資料和oarcle資料兩類。 (1) hadoop資料 線上網盤的文字檔案和非文字檔案都儲存在hadoop的hdfs或hbase資料表中,推薦系統的網頁檔案也儲存在hbase表中。這些檔案通過tika、Jsoup等文字提取或文字解析工具將檔名、文 […]