Read the fucking source code! --By 魯迅A picture is worth a thousand words. --By 高爾基說明：
組調(diào)度（task_group）是使用Linux cgroup(control group)的cpu子系統(tǒng)來實(shí)現(xiàn)的，可以將進(jìn)程進(jìn)行分組，按組來分配CPU資源等。
比如，看一個(gè)實(shí)際的例子：
A和B兩個(gè)用戶使用同一臺(tái)機(jī)器，A用戶16個(gè)進(jìn)程，B用戶2個(gè)進(jìn)程，如果按照進(jìn)程的個(gè)數(shù)來分配CPU資源，顯然A用戶會(huì)占據(jù)大量的CPU時(shí)間，這對(duì)于B用戶是不公平的。組調(diào)度就可以解決這個(gè)問題，分別將A、B用戶進(jìn)程劃分成組，并將兩組的權(quán)重設(shè)置成占比50%即可。
帶寬（bandwidth）控制，是用于控制用戶組（task_group）的CPU帶寬，通過設(shè)置每個(gè)用戶組的限額值，可以調(diào)整CPU的調(diào)度分配。在給定周期內(nèi)，當(dāng)用戶組消耗CPU的時(shí)間超過了限額值，該用戶組內(nèi)的任務(wù)將會(huì)受到限制。
由于組調(diào)度和帶寬控制緊密聯(lián)系，因此本文將探討這兩個(gè)主題，本文的討論都基于CFS調(diào)度器，開始吧。
struct task_group來組織的，task_group本身支持cfs組調(diào)度和rt組調(diào)度，本文主要分析cfs組調(diào)度。sched_entity調(diào)度實(shí)體，task_struct（代表進(jìn)程）和task_group（代表進(jìn)程組）中分別包含sched_entity，進(jìn)而來參與調(diào)度；關(guān)于組調(diào)度的相關(guān)數(shù)據(jù)結(jié)構(gòu)，組織如下：
task_groups，創(chuàng)建的task_group會(huì)添加到這個(gè)鏈表中；root_task_group全局結(jié)構(gòu)，充當(dāng)task_group的根節(jié)點(diǎn)，以它為根構(gòu)建樹狀結(jié)構(gòu)；struct task_group的子節(jié)點(diǎn)，會(huì)加入到父節(jié)點(diǎn)的siblings鏈表中；struct task_group會(huì)分配運(yùn)行隊(duì)列數(shù)組和調(diào)度實(shí)體數(shù)組（以CFS為例，RT調(diào)度類似），其中數(shù)組的個(gè)數(shù)為系統(tǒng)CPU的個(gè)數(shù)，也就是為每個(gè)CPU都分配了運(yùn)行隊(duì)列和調(diào)度實(shí)體；對(duì)應(yīng)到實(shí)際的運(yùn)行中，如下：
struct cfs_rq包含了紅黑樹結(jié)構(gòu)，sched_entity調(diào)度實(shí)體參與調(diào)度時(shí)，都會(huì)掛入到紅黑樹中，task_struct和task_group都屬于被調(diào)度對(duì)象；task_group會(huì)為每個(gè)CPU再維護(hù)一個(gè)cfs_rq，這個(gè)cfs_rq用于組織掛在這個(gè)任務(wù)組上的任務(wù)以及子任務(wù)組，參考圖中的Group A；pick_next_task_fair時(shí)，會(huì)從遍歷隊(duì)列，選擇sched_entity，如果發(fā)現(xiàn)sched_entity對(duì)應(yīng)的是task_group，則會(huì)繼續(xù)往下選擇；sched_entity結(jié)構(gòu)中存在parent指針，指向它的父結(jié)構(gòu)，因此，系統(tǒng)的運(yùn)行也能從下而上的進(jìn)行遍歷操作，通常使用函數(shù)walk_tg_tree_from進(jìn)行遍歷；/sys文件系統(tǒng)進(jìn)行設(shè)置，比如操作/sys/fs/cgoup/cpu/A/shares；調(diào)用流程如下圖：
sched_group_set_shares來完成最終的設(shè)置；task_group為每個(gè)CPU都分配了一個(gè)sched_entity，針對(duì)當(dāng)前sched_entity設(shè)置更新完后，往上對(duì)sched_entity->parent設(shè)置更新，直到根節(jié)點(diǎn)；shares的值計(jì)算與load相關(guān)，因此也需要調(diào)用update_load_avg進(jìn)行更新計(jì)算；看一下實(shí)際的效果圖吧：
echo XXX > /sys/fs/cgroup/cpu/A/B/cpu.shares；sched_entity后，繼續(xù)按同樣的流程處理sched_entity->parent；先看一下/sys/fs/cgroup/cpu下的內(nèi)容吧：
cfs_period_us和cfs_quota_us，這兩個(gè)與cfs_bandwidth息息相關(guān)；period表示周期，quota表示限額，也就是在period期間內(nèi)，用戶組的CPU限額為quota值，當(dāng)超過這個(gè)值的時(shí)候，用戶組將會(huì)被限制運(yùn)行（throttle），等到下一個(gè)周期開始被解除限制（unthrottle）；來一張圖直觀理解一下：
quota的配額下，超過了就throttle，下一個(gè)周期重新開始；內(nèi)核中使用struct cfs_bandwidth來描述帶寬，該結(jié)構(gòu)包含在struct task_group中。
此外，struct cfs_rq中也有與帶寬控制相關(guān)的字段。
還是來看一下代碼吧：
struct cfs_bandwidth {
#ifdef CONFIG_CFS_BANDWIDTH
raw_spinlock_t lock;
ktime_t period;
u64 quota, runtime;
s64 hierarchical_quota;
u64 runtime_expires;
int idle, period_active;
struct hrtimer period_timer, slack_timer;
struct list_head throttled_cfs_rq;
/* statistics */
int nr_periods, nr_throttled;
u64 throttled_time;
#endif
};
struct cfs_rq結(jié)構(gòu)中相關(guān)字段如下：
struct cfs_rq {
...
#ifdef CONFIG_CFS_BANDWIDTH
int runtime_enabled;
u64 runtime_expires;
s64 runtime_remaining;
u64 throttled_clock, throttled_clock_task;
u64 throttled_clock_task_time;
int throttled, throttle_count;
struct list_head throttled_list;
#endif /* CONFIG_CFS_BANDWIDTH */
...
}
先看一下初始化的操作，初始化函數(shù)init_cfs_bandwidth本身比較簡(jiǎn)單，完成的工作就是將struct cfs_bandwidth結(jié)構(gòu)體進(jìn)程初始化。
period_timer和slack_timer；period_timer定時(shí)器，用于在時(shí)間到期時(shí)重新填充關(guān)聯(lián)的任務(wù)組的限額，并在適當(dāng)?shù)臅r(shí)候unthrottlecfs運(yùn)行隊(duì)列；slack_timer定時(shí)器，slack_period周期默認(rèn)為5ms，在該定時(shí)器函數(shù)中也會(huì)調(diào)用distribute_cfs_runtime從全局運(yùn)行時(shí)間中分配runtime；start_cfs_bandwidth和start_cfs_slack_bandwidth分別用于啟動(dòng)定時(shí)器運(yùn)行，其中可以看出在dequeue_entity的時(shí)候會(huì)去利用slack_timer，將運(yùn)行隊(duì)列的剩余時(shí)間返回給tg->cfs_b這個(gè)runtime pool；unthrottle_cfs_rq函數(shù)，會(huì)將throttled_list中的對(duì)應(yīng)cfs_rq刪除，并且從下往上遍歷任務(wù)組，針對(duì)每個(gè)任務(wù)組調(diào)用tg_unthrottle_up處理，最后也會(huì)根據(jù)cfs_rq對(duì)應(yīng)的sched_entity從下往上遍歷處理，如果sched_entity不在運(yùn)行隊(duì)列上，那就重新enqueue_entity以便參與調(diào)度運(yùn)行，這個(gè)也就完成了解除限制的操作；do_sched_cfs_period_timer函數(shù)與do_sched_cfs_slack_timer()函數(shù)都調(diào)用了distrbute_cfs_runtime()，該函數(shù)用于分發(fā)tg->cfs_b的全局運(yùn)行時(shí)間runtime，用于在該task_group中平衡各個(gè)CPU上的cfs_rq的運(yùn)行時(shí)間runtime，來一張示意圖：
task_group針對(duì)每個(gè)cpu都維護(hù)了一個(gè)cfs_rq，這些cfs_rq來共享該task_group的限額運(yùn)行時(shí)間；用戶可以通過操作/sys中的節(jié)點(diǎn)來進(jìn)行設(shè)置：
/sys/fs/cgroup/cpu/下的cfs_quota_us/cfs_period_us節(jié)點(diǎn)，最終會(huì)調(diào)用到tg_set_cfs_bandwidth函數(shù)；tg_set_cfs_bandwidth會(huì)從root_task_group根節(jié)點(diǎn)開始，遍歷組調(diào)度樹，并逐個(gè)設(shè)置限額比率 ；cfs_bandwidth的runtime信息；cfs_bandwidth功能，則啟動(dòng)帶寬定時(shí)器；task_group中的每個(gè)cfs_rq隊(duì)列，設(shè)置runtime_remaining值，如果cfs_rq隊(duì)列限流了，則需要進(jìn)行解除限流操作；throttle限流操作cfs_rq運(yùn)行隊(duì)列被限制，是在throttle_cfs_rq函數(shù)中實(shí)現(xiàn)的，其中調(diào)用關(guān)系如下圖：
sched_entity入列時(shí)，進(jìn)行檢測(cè)是否運(yùn)行時(shí)間已經(jīng)達(dá)到限額，達(dá)到則進(jìn)行限制處理；pick_next_task_fair/put_prev_task_fair在選擇任務(wù)調(diào)度時(shí)，也需要進(jìn)行檢測(cè)判斷；總體來說，帶寬控制的原理就是通過task_group中的cfs_bandwidth來管理一個(gè)全局的時(shí)間池，分配給屬于這個(gè)任務(wù)組的運(yùn)行隊(duì)列，當(dāng)超過限額的時(shí)候則限制隊(duì)列的調(diào)度。同時(shí)，cfs_bandwidth維護(hù)兩個(gè)定時(shí)器，一個(gè)用于周期性的填充限額并進(jìn)行時(shí)間分發(fā)處理，一個(gè)用于將未用完的時(shí)間再返回到時(shí)間池中，大抵如此。
組調(diào)度和帶寬控制就先分析到此，下篇文章將分析CFS調(diào)度器了，敬請(qǐng)期待。
聯(lián)系客服
