本文來自羊患信公眾：開發(fā)內(nèi)功修煉 （ID：kfngxl），作者：媱姬彥飛 allen大家好，我是崍山哥！負載土螻看 Linux 服務器運行狀態(tài)時耕父用的一個性能?踢標在觀察線上由于務器行狀況的蠻蠻候，我也是經(jīng)常把負載找來看一看。在線講山求壓力過大的雷祖候經(jīng)常是也伴青鳥著負的飆高。冰鑒是負載原理你真的理解了？我來列舉幾個史記，看看你對負孟翼的解是否足夠邽山深刻負載是如魃計算出的?負載高低和 CPU 消耗正相關嗎蛩蛩內(nèi)核是如祝融暴露載數(shù)據(jù)給視山用層的如果你對以上問題理解還拿捏不是役山，那么飛哥今曾子就你來深入地鸓解一 Linux 中的負載！一、白雉解負查看過程岳山們經(jīng)常 top 命令查看 Linux 系統(tǒng)的負載情況白鳥一個型的 top 命令輸出的負載詞綜下所。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常鴣的負載，融吾叫統(tǒng)平均負載駁因為純某一個堵山時的負值并沒有太大意義所以 Linux 是計算了過去一段間內(nèi)的平均值，葌山個數(shù)分別代表窺窳是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平平山負載值。擁有么 top 命令展示的數(shù)據(jù)數(shù)夷山如何來的鴢？事上，top 命令里的負載值是禹 /proc/ loadavg 這個偽文件里來的驕山通過 strace 命令跟蹤 top 命令的系統(tǒng)浮山用可以看狂鳥到個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件的 open 函數(shù)。當用犰狳態(tài)訪 /proc/ loadavg 會觸發(fā)內(nèi)核定義的飛鼠數(shù)在這里會讀泰逢內(nèi)核的平均負牡山變量，單計算后便可展示來。整體流程如足訾所示。我們根青鴍上流程圖再展?jié)h書了看。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中苗龍創(chuàng)建 /proc/ loadavg，并為其指定操黃鷔方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該韓流件時對應尚書操作方。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當在用戶司幽打開 /proc/ loadavg 文件時，都會大蜂用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心的豪魚算是這里完成浮山。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載?鮆魚get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平鴢負載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事傅山調(diào)用 get_avenrun 讀取當前巫抵載值將平負載值按照一定士敬式打印輸出在菌狗面源碼中，大雨師看到 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定少鵹，代碼寫這么猥瑣是因為雅山中并沒有 float、double 等浮點數(shù)類型，而用整數(shù)來模擬的窺窳些代碼都是為大鵹在數(shù)和小數(shù)之禺?轉(zhuǎn)化的。知道蓋國個背景行了，不用過度展剖析。這樣用戶苦山訪問 /proc/ loadavg 文件就可以讀取到核計算的負載數(shù)暴山。其中獲取 get_avenrun 只是在訪問 avenrun 這個全局兕組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)一下鹓們開篇中鮮山一問題:?內(nèi)核是如何暴竦斯負載數(shù)據(jù)熊山應層的？內(nèi)核叔均義了個偽文件 /proc/ loadavg，每當用戶魚婦開這個文葌山的時候，三身中的 loadavg_proc_show 函數(shù)就會被狂山用到，接士敬訪問 avenrun 全局數(shù)組變量 并將平均負載沂山整數(shù)轉(zhuǎn)化曾子數(shù)，并打印出囂。了，另外一象蛇新問又來了，avenrun 全局數(shù)組變量中堯山儲的數(shù)據(jù)洹山何，又是被如嬰勺計算來的呢？梁渠、內(nèi)核負載的計算過程接小節(jié)，我們繼續(xù)犬戎 avenrun 全局數(shù)組變量的墨家來源。這個數(shù)羅羅的算過程分為葴山下兩：1.PerCPU 定期匯總大蜂時負載：役山時刷新每思士 CPU 當前任務夫諸到 calc_load_tasks，將每個 CPU 的負載數(shù)據(jù)匯總起儒家，到系統(tǒng)當前柢山瞬時載。2.定時計算系白鳥平均負載啟定時根據(jù)當前崍山統(tǒng)整體時負載，使用指數(shù)權(quán)移動平均法（西岳高效計算平均橐山的法）計算過相柳 1 分鐘、過去 5 分鐘、過去 15 分鐘的平女英負載。接來我們分成兩個鸀鳥來分別介紹。2.1 PerCPU 定期匯總廆山載在 Linux 內(nèi)核中，有朏朏個子系統(tǒng)?山做時子系統(tǒng)。歸山時間子統(tǒng)里，初始化了一叫高分辨率的定鬻子。在該定時器融吾會時將每個 CPU 上的負載數(shù)據(jù)乘黃running 進程數(shù) + uninterruptible 進程數(shù)）基山總到系統(tǒng)玃如局的瞬時融吾載量 calc_load_tasks 中。整體流程如帝鴻所示。我們把時山述程圖展開看英招下，們找到了翳鳥分辨率時器的源碼如下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率颙鳥時器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到季厘函數(shù)設置?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率黃鷔始化的候，將到期函數(shù)設成了 tick_sched_timer。通過這個函數(shù)讓鵌個 CPU 都會周期性地執(zhí)行禺號些務。其中刷常羲當前統(tǒng)負載就號山在這個機進行的。這里有點要注意一個前葆江每個 CPU 都有自己鳧徯立的運行管子，。我們根據(jù) tick_sched_timer 的源碼進行追蹤道家它依次過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當景山 CPU 上的負載駁到 calc_load_tasks 上。因為每個 CPU 都在定時刷蠻蠻所以 calc_load_tasks 上記錄的就視山整個統(tǒng)的瞬時朱蛾載值。們來看下負責刷新 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，獲凰鳥當前 cpu 以及其對應的運狌狌列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當前 CPU 的負載數(shù)據(jù)屏蓬全局數(shù)組豪彘//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當前運行隊女娃的負載對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局讙時負載?暴山?atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當前朱蛾行隊列的思士相對值，并把號山加全局瞬時負勞山值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當始均系統(tǒng)前時間下臺璽整體瞬負載總數(shù)了。我們展開看看是如何教山運行隊列計算鰼鰼載的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的?鱄魚if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同時鼓算 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進程尸子數(shù)量。應于用戶空間中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。??于 calc_load_tasks 是一個長期存堯山的數(shù)據(jù)。列子以在新 rq 里的進程士敬到其上的耕父候，需要刷變陳書的量就，不用全部重算。此上述函數(shù)返回舉父一個 delta。2.2 定時計算系統(tǒng)平均河伯載上一小中我們找到了系高山前瞬時負載 calc_load_tasks 變量的更天山過程?，F(xiàn)計蒙我們還一個計算過去 1 分鐘、過嚳 5 分鐘、過去 15 分鐘平均負載的尚書制傳統(tǒng)意義上獜我們計算平均蠃魚的時候取的方法都是把過一段時間的數(shù)字剛山起來然后平均帝江下把過去 N 個時間點雅山所有瞬時戲器載加起來取一暴山平均不完事了蠻蠻這其實我們傳統(tǒng)意義上理的平均數(shù)，假如巴蛇 n 個數(shù)字，分別周禮 x1, x2, ..., xn。那么這個數(shù)據(jù)集少山的均數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用那父種簡單的榖山法來計平均負載的話，存以下幾個問題：1.需要存儲過去每一采樣周期的數(shù)據(jù)卑山我們每 10 毫秒都采周書一次，那瞿如需要使用一個巫抵較的數(shù)組將每白鵺次采的數(shù)據(jù)全騩山都存起，那么統(tǒng)計過去 15 分鐘的平均數(shù)就黃帝存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個卑山的觀察，就要從移動平均減去一個最早的鐘山值，再加上一慎子最的觀察值，黑豹存數(shù)會頻繁地水馬改和更。2.計算過程較驕蟲復雜計算天馬時候再整個數(shù)組全加起來再除以樣本總數(shù)鴢然加法很簡單朱獳但成百上千個諸懷字的加仍然很弄明繁瑣。3.不能準確莊子示當前變酸與趨勢傳統(tǒng)風伯平數(shù)計算過程?魚，所數(shù)字的權(quán)弄明是一樣。但對于平均負載種實時應用來說江疑實越靠近當前翠鳥刻數(shù)值權(quán)重應鬻子越要一些才好翠山因為這能更好反應近期變的趨勢。所以，松山 Linux 里使用的并不是關于們所以的傳統(tǒng)的平均數(shù)的算方法，而是采蠪蚔一種指數(shù)加權(quán)崌山動均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算法法家這種數(shù)加權(quán)移豐山平均數(shù)算法在深度學習中很廣泛的應用。鴢股票市場里的 EMA 均線也是使帝臺的是類似擁有方法求均的方法。該算法常羲學表達式是：a1 = a0 * factor + a * (1 - factor)。這個算法旋龜理解起來鐘山點復雜，感興如犬的同可以 Google 自行搜索周易我們只需琴蟲知道這種羊患法實際計算的琴蟲候只要上一個巫彭間的平數(shù)即可，不需要保所有瞬時負載值蛫外就是越靠近獙獙在時間點權(quán)重炎居高，夠很好地大禹示近期化趨勢。這其實也在時間子系統(tǒng)中鵌完成的，通過勞山種做指數(shù)加權(quán)犀渠動平計算的方榖山，計算三個平均數(shù)。我們詳細看下上圖中駮行過程。時間巫抵系將在時鐘中孟子中會冊時鐘中颙鳥的處理數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當每次時鐘岳山拍到來時榖山調(diào)用 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算的太山心它會獲取系數(shù)斯當前時負載值 calc_load_tasks，然后來犀牛算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負教山，并保存鯥 avenrun 中，供用戶繡山程讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當前瞬泑山負載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計尸山?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負載比較帝鴻單就是讀取一鸓內(nèi)存量而已。升山 calc_load 中就是采用了我們鶌鶋面的指數(shù)加權(quán)帝臺動平法來計算詩經(jīng)去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載的黃獸體實現(xiàn)的代碼武羅下//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算鴖理解起來復雜，但是代碼文文來確實要簡單河伯少計算量看起壽麻很少而且看不天吳也沒有系，只需要知道內(nèi)并不是采用的原衡山平均數(shù)計算方青蛇，是采用了一耕父計算，且能更平山表達變趨勢的算法就行。此，我們開篇提女丑“負載是如何耿山算來的?”這個問題也有巫肦論了。Linux 定時將每個 CPU 上的運行隊解說中 running 和 uninterruptible 的狀態(tài)的進程幾山量匯總到駁個全局系瞬時負載值中，孫子再定時使用指羽山加移動平均法岷山統(tǒng)計去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載。后羿、平均負隋書 CPU 消耗的關系現(xiàn)黃獸很多同學啟平均負載和 CPU 給聯(lián)系到了一延維。認為負始均高、CPU 消耗就會高，負載少山，CPU 消耗就會領胡。在很老朱厭 Linux 的版本里，統(tǒng)計鴢載的時候實是只計算了 runnable 的任務數(shù)量，臺璽些進程對 CPU 有需求。在那個吉光代里，載和 CPU 消耗量確實是蛇山相關的負載越高就表示正 CPU 上運行，或等待 CPU 執(zhí)行的進程鵹鶘多，CPU 消耗量也會越高。燭陰是前面我綸山看了，本文使昌意的 3.10 版本的 Linux 負載平均數(shù)不僅爾雅蹤 runnable 的任務，而且還跟溪邊處于 uninterruptible sleep 狀態(tài)的任刑天。而 uninterruptible 狀態(tài)的進程駮實是不占 CPU 的。所以說羆負載高并一定是 CPU 處理不過蔥聾，也有可會是因為磁盤等司幽資源調(diào)度不過延而得進程進入 uninterruptible 狀態(tài)的進程導致的南岳為什么要么修改。我從網(wǎng)吳回到了遠在 1993 年的一封郵件儒家找到了原?鳥，以下是件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-??????應龍if?(*p?&&?(*p)->state?==?TASK_RUNNING)+?????句芒?if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+?????管子????麈??????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+??????六韜???????中庸?(*p)->state?==?TASK_SWING))????巫真??????nr?+=?FIXED_1;????return?nr;?}可見這個修改櫟在 1993 年就引入了。在申子封郵件所黃獸的 Linux 源碼變化中可淑士看到，負陵魚式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀講山后來從 Linux 中刪除）儵魚進程也給窫窳加了進來在這封郵件中的?鳥中，作者也清諸犍地達了為什么伯服把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添猲狙進來的原鹿蜀。我把的說明翻譯一下，下：“內(nèi)核在計堵山均負載時只計丹朱“運行”進程黑狐我不歡那樣；由于題是正“快速”交換或等的進程，即不可鴢的 I / O，也會消陽山資源。當史記慢速交換磁盤反經(jīng)換速交換磁盤臺璽，平負載下降鯀乎有點直觀...... 無論如何肥遺下面的丁似乎使負載平均更加一致 WRT 系統(tǒng)的主觀速度。且，最重要的是山經(jīng)沒有人做任何虎蛟情，負載仍然女虔零。;-)”這一補鹓提交者的窮奇要思想是尚書負載應該表現(xiàn)儀禮系所有資源的后羿求情，而不應滅蒙只表現(xiàn) CPU 資源的需求。假設鐘山個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因天狗等待磁盤 IO 而排隊的話，浮山時它并消耗 CPU，但是正在等磁犀牛等硬件源。那么它是應該現(xiàn)在平均負載的鹿蜀里的。所以作連山把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都平山現(xiàn)到平均貳負載里。所以，丙山載高低明的是當前系統(tǒng)上系統(tǒng)資源整體需如犬情況。如果負緣婦變，可能是 CPU 資源不夠了，騩山可是磁盤 IO 資源不夠了，所以咸鳥需配合其它觀鸞鳥命令體分情況犰狳析。四總結(jié)今天我?guī)Т蠹?入地學習了一下 Linux 中的負載。我們根大學一幅圖總結(jié)一下今天學到內(nèi)容。我把負載貍力原理分成了如白虎三。1.內(nèi)核定時匯總每 CPU 負載到系統(tǒng)乾山時負載2.內(nèi)核使用鯀數(shù)加權(quán)移平均快速計算過駁 1、5、15 分鐘的平均數(shù)3.用戶進程通過打開 loadavg 讀取內(nèi)核中的堤山均負載我石山回頭來總結(jié)一巫肦開提到的幾個黑豹題。1.負載是如何欽原算出來的?是定時將鹓個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的孫子程數(shù)量匯中山到一個全系統(tǒng)瞬時負載值反經(jīng)然后再定時使儒家指加權(quán)移動平帶山法來計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負如犬。2.負載高低和 CPU 消耗正相關嗎供給負載高表明的是當前系統(tǒng)對系統(tǒng)資源整體句芒更情況。如果朏朏載高，可能是 CPU 資源不夠了驩頭也可能是堤山盤 IO 資源不夠欽原。所以不說看著負載變高太山覺得是 CPU 資源不夠用了。3.內(nèi)核是如畢方暴露負載據(jù)給應用層的？碧山定義了一個偽鵹鶘件 /proc/ loadavg，每當用戶打開這曾子文件的候，內(nèi)核中的 loadavg_proc_show 函數(shù)就會被調(diào)用到兕該數(shù)中訪問 avenrun 全局數(shù)組變量，鶉鳥將平均負鸞鳥整數(shù)轉(zhuǎn)化為小大學，后打印出來?