關于MapReduce的相關知識點，因為學識淺薄，可能會有遺漏的的地方，歡迎各位補充!
下面是我個人認為非常值得注意的幾處知識點，希望能為大家的學習提供便利。
1. HDFS上的文件以行讀取，其中key是行中首字母的起始位置，value是該行的文本內容，一行為一對KV鍵值對。
2. 通過FileInputFormat將文件切分成split塊，F(xiàn)ileInputFormat只會劃分比block大的部分。切割完畢后通過TextInputFormat對split塊中的每行記錄解析為K1V1鍵值對。
3. 一個split塊對應一個mapper task任務，map接收K1V1鍵值對后執(zhí)行map方法，后輸出新的K2V2鍵值對。
4. K2V2鍵值對添加到環(huán)形緩沖區(qū)中，當數(shù)據(jù)量達到80%(默認數(shù)據(jù)，可以使用參數(shù)mapreduce.map.sort.spill.percent修改)之后，這80%環(huán)形區(qū)會觸發(fā)溢出操作，然后被封鎖，mappertask會向剩余部分繼續(xù)寫入數(shù)據(jù)。同時會對寫完的數(shù)據(jù)執(zhí)行partitioner(分區(qū))操作，然后對不同分區(qū)中的數(shù)據(jù)進行排序分組(sort)操作，最后對分組后的數(shù)據(jù)歸約(combiner,通過Key進行歸并，減少reduce的負擔)。
5. 每發(fā)生一次溢出操作就會在磁盤中生成換一個磁盤文件，當磁盤文件寫入完畢后，環(huán)形緩沖區(qū)中的封鎖區(qū)會清空數(shù)據(jù)，繼續(xù)接收數(shù)據(jù)寫入。
6.mapper task的數(shù)據(jù)全部寫出完畢后，會將多個磁盤文件及內存中多余的數(shù)據(jù)寫出到一個本地磁盤文件中。
7.此時會通知APPMaster完成map task，當完成數(shù)量達到5%時，就啟動reduce task任務。
8. reduce生成fetcher線程組(默認5個)將不同分區(qū)的的數(shù)據(jù)copy到不同的reduce節(jié)點上。(一個mapper上的分區(qū)可能會被發(fā)送到多個reduce，同樣一個reduce也會接收來自不同的mapper的分區(qū))
9.fetcher線程組將數(shù)據(jù)寫入內存的過程中，內存滿75%時，也會發(fā)生溢出操作，觸發(fā)sort和merge操作，最后生成一個磁盤文件(merge操作一般是從內存到磁盤，最后再從磁盤到磁盤)
10. 最后磁盤文件的數(shù)據(jù)會被分組group來提供給reduce方法處理。根據(jù) FileOutputFormat寫入目標文件里。
綜上，為MapReuce的細節(jié)部分，這部分操作大家比較了解，但是馬虎之下容易實現(xiàn)操作性的錯誤，簡要記錄十點，望大家多多留意，大數(shù)據(jù)時代，我們無法安然避世，就業(yè)的壓力擺在面前，只有金甲加身，付出汗水才能獲得高薪，最后送大家一句話，不忘初心，方得始終。
