kettle

ant 構建的依賴專案 kettle專案 原始碼匯入eclipse

最近在研究kettle,這個是比較強大的ETL 工具。是用java寫的,而且是開源的,有個視覺化的配置視窗。然而kettle 使用ant 構建的(我們一般是用的是maven),並且是個子專案互相依賴的專案,所以寫一篇我自己用eclipse執行kettle的經歷。 首先我們需要去官網上下載kettle […]

Kettle 資源庫-儲存Kettle 後設資料

 Kettle 資源庫-儲存Kettle 後設資料 Kettle 資源庫 – 後設資料後設資料的通用概念:• “描述性資料” 或“資料的資料”ETL 的後設資料:• 描述 ETL 要執行的任務,簡單的說就是在轉換或者作業裡面進行的那些設定。包括資料庫名稱,資料名稱,檔名稱和各種配置等等。 在Ke […]

kettle傳輸資料使用java對ASE128密文解密

公司外網Mysql,內網Oracle,內外網資料用kettle傳輸,最近需求,外網某些欄位(如身份證號)不能儲存為明文,需用ASE128 Base64加密,但內網需要使用明文,方便查詢統計。之前沒接觸過,研究了兩天,終於解決,總結下心得。 (1):將加密解密演算法,用java程式碼寫好,測試無誤後, […]

kettle傳輸資料使用java對ASE128密文解密

公司外網Mysql,內網Oracle,內外網資料用kettle傳輸,最近需求,外網某些欄位(如身份證號)不能儲存為明文,需用ASE128 Base64加密,但內網需要使用明文,方便查詢統計。之前沒接觸過,研究了兩天,終於解決,總結下心得。 (1):將加密解密演算法,用java程式碼寫好,測試無誤後, […]

用kettle 進行資料庫的遷移–DB2 遷移到 mysql

一、前言 開始給使用者提供的整套系統是部署在WAS伺服器和DB2資料庫上的,由於WAS和DB2都屬於IBM收費產品,根據使用者需求,為了節省這筆開銷,想使用免費開源的資料庫和Tomcat伺服器。於是資料庫選擇了MariaDB。這就涉及到,在不動系統程式碼的情況下,怎樣直接將DB2資料庫的表結構、資料 […]

kettle下轉移mongo中資料到mysql中

Kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上執行,資料抽取高效穩定。作為一個資料抽取工具,在建立資料倉儲的過程中,免不了需要從不同的資料來源中抽取到集中的資料倉儲中,下面就拿mongodb抽取到mysql為例,簡述抽取資料的步驟: 新建“轉換”: […]