for優化

優化-hive大資料傾斜總結

在做Shuffle階段的優化過程中,遇到了資料傾斜的問題,造成了對一些情況下優化效果不明顯。主要是因為在Job完成後的所得到的Counters是整個Job的總和,優化是基於這些Counters得出的平均值,而由於資料傾斜的原因造成map處理資料量的差異過大,使得這些平均值能代表的價值降低。Hive的 […]

優化技術——物件池

又是新的一年啊!今天準備給大家講解一下一個很常見的優化技術—使用物件池來優化專案 廢話不多說了,這篇文章可以和我前面的部落格中所講的記憶體優化一起來看哦! 首先來解釋一下什麼叫“物件池”,我們都知道在unity中所有的遊戲物件都可以統稱為物件。那麼顧名思義物件池就是能夠存放很多物件的一個容器唄! 在 […]

優化1——資料庫優化面試題

1.實踐中如何優化mysql 1) SQL語句及索引的優化 2) 資料庫表結構的優化 3) 系統配置的優化 4) 硬體優化   2.索引的底層實現原理和優化 在 DB2 資料庫中索引採用的是 B 樹的結構,索引的葉子節點上包含索引鍵的值和一個指向資料地址的指標。DB2 先查詢索引,然後通過索引裡記錄 […]