大資料專案1之大CSV檔案切割

NO IMAGE

0.實驗環境

  1. 待切割CSV檔案大小:1.5G(欄位有中文有英文)
  2. 所介紹的兩個軟體的下載地址:CSVSplitter和CSVed打包下載地址

1.CSVSplitter

本次實驗使用的就是這個神器,優勢有兩個:

  1. 可以轉換CSV裡面的中文欄位(轉換之後的中文編碼為GBK)
  2. 可以切割1.5G的大CSV檔案

將1.5G的csv檔案切割之後使用pandas的read_csv方法順利匯入,然後怒插到mysql中。

2.CSVed

這個神器本次沒有用,但是看起來很厲害,如果下回有機會可以嘗試一下。