1、MapReduce計(jì)算框架以其簡(jiǎn)潔的編程模型處理日志、文檔、報(bào)表和其他復(fù)雜的數(shù)據(jù)集分析，可是由于MapReduce計(jì)算框架采用的是默認(rèn)的哈希一次分區(qū)機(jī)制，在處理數(shù)據(jù)量很大的時(shí)候，就容易導(dǎo)致數(shù)據(jù)劃分不均勻出現(xiàn)數(shù)據(jù)傾斜的問(wèn)題。雖然開(kāi)源Hadoop系統(tǒng)為用戶提供了自定義分區(qū)的方法，但是在數(shù)據(jù)復(fù)雜而且沒(méi)有規(guī)律的情況下，是不清楚輸入的數(shù)據(jù)是怎么分布的，這樣也就不能夠?qū)懗鲇脩糇约憾x的分區(qū)方法，所以MapReduce計(jì)算過(guò)程中數(shù)據(jù)傾斜問(wèn)題還是很難被

2、避免的。
　　為了解決數(shù)據(jù)劃分的不均衡，本文提出了一種將分區(qū)向Reducer指派時(shí)按照鍵值對(duì)中的key的種類進(jìn)行分區(qū)的方法。這種分區(qū)的思想是:
　?、賹鹘y(tǒng)分區(qū)的分區(qū)號(hào)與Reducer任務(wù)號(hào)一對(duì)一的關(guān)系轉(zhuǎn)換為多對(duì)一的關(guān)系;
　?、谕ㄟ^(guò)分區(qū)篩選算法和分配算法確定分區(qū)號(hào)和Reducer的對(duì)應(yīng)關(guān)系。以達(dá)到解決MapReduce任務(wù)中數(shù)據(jù)分布傾斜導(dǎo)致reduce負(fù)載不均衡的問(wèn)題。
　　通過(guò)實(shí)驗(yàn)，對(duì)比