久久久久无码精品,亚洲国产精品国语在线,国产成人精品热玖玖玖,国产福利一区二区在线观看

Linux 系統(tǒng) CPU 100% 異常問題，能否用一個(gè) Shell 腳本完美解決？

2024-07-10 09:04:15 Jinyu
昨天下午突然收到運(yùn)維郵件報(bào)警，顯示數(shù)據(jù)平臺(tái)服務(wù)器cpu利用率達(dá)到了98.94%，而且最近一段時(shí)間一直持續(xù)在70%以上，看起來像是硬件資源到瓶頸需要擴(kuò)容了，但仔細(xì)思考就會(huì)發(fā)現(xiàn)咱們的業(yè)務(wù)系統(tǒng)并不是一個(gè)高并發(fā)或者CPU密集型的應(yīng)用，這個(gè)利用率有點(diǎn)太夸張，硬件瓶頸應(yīng)該不會(huì)這么快就到了，一定是哪里的業(yè)務(wù)代碼邏輯有問題。

2、排查思路

2.1 定位高負(fù)載進(jìn)程 pid

首先登錄到服務(wù)器使用top命令確認(rèn)服務(wù)器的具體情況，根據(jù)具體情況再進(jìn)行分析判斷。

圖片

通過觀察load average，以及負(fù)載評(píng)判標(biāo)準(zhǔn)（8核），可以確認(rèn)服務(wù)器存在負(fù)載較高的情況；

圖片

觀察各個(gè)進(jìn)程資源使用情況，可以看出進(jìn)程id為682的進(jìn)程，有著較高的CPU占比

2.2 定位具體的異常業(yè)務(wù)

這里咱們可以使用 pwdx 命令根據(jù) pid 找到業(yè)務(wù)進(jìn)程路徑，進(jìn)而定位到負(fù)責(zé)人和項(xiàng)目：

圖片

可得出結(jié)論：該進(jìn)程對(duì)應(yīng)的就是數(shù)據(jù)平臺(tái)的web服務(wù)。

2.3 定位異常線程及具體代碼行

傳統(tǒng)的方案一般是4步：

1、top oder by with P：1040 // 首先按進(jìn)程負(fù)載排序找到 maxLoad(pid)

2、top -Hp 進(jìn)程PID：1073    // 找到相關(guān)負(fù)載 線程PID

3、printf “0x%x ”線程PID：0x431  // 將線程PID轉(zhuǎn)換為 16進(jìn)制，為后面查找 jstack 日志做準(zhǔn)備

4、jstack  進(jìn)程PID | vim +/十六進(jìn)制線程PID -        // 例如：jstack 1040|vim +/0x431 -

但是對(duì)于線上問題定位來說，分秒必爭(zhēng)，上面的 4 步還是太繁瑣耗時(shí)了，之前介紹過淘寶的 oldratlee 同學(xué)就將上面的流程封裝為了一個(gè)工具：show-busy-java-threads.sh，可以很方便的定位線上的這類問題：

圖片

可得出結(jié)論：是系統(tǒng)中一個(gè)時(shí)間工具類方法的執(zhí)行cpu占比較高，定位到具體方法后，查看代碼邏輯是否存在性能問題。

※ 如果線上問題比較緊急，可以省略 2.1、2.2 直接執(zhí)行 2.3，這里從多角度剖析只是為了給大家呈現(xiàn)一個(gè)完整的分析思路。

3、根因分析

經(jīng)過前面的分析與排查，最終定位到一個(gè)時(shí)間工具類的問題，造成了服務(wù)器負(fù)載以及cpu使用率的過高。

  • 異常方法邏輯：是把時(shí)間戳轉(zhuǎn)成對(duì)應(yīng)的具體的日期時(shí)間格式；
  • 上層調(diào)用：計(jì)算當(dāng)天凌晨至當(dāng)前時(shí)間所有秒數(shù)，轉(zhuǎn)化成對(duì)應(yīng)的格式放入到set中返回結(jié)果；

  • 邏輯層：對(duì)應(yīng)的是數(shù)據(jù)平臺(tái)實(shí)時(shí)報(bào)表的查詢邏輯，實(shí)時(shí)報(bào)表會(huì)按照固定的時(shí)間間隔來，并且在一次查詢中有多次（n次）方法調(diào)用。

那么可以得到結(jié)論，如果現(xiàn)在時(shí)間是當(dāng)天上午10點(diǎn)，一次查詢的計(jì)算次數(shù)就是 10*60*60*n次=36,000*n次計(jì)算，而且隨著時(shí)間增長，越接近午夜單次查詢次數(shù)會(huì)線性增加。由于實(shí)時(shí)查詢、實(shí)時(shí)報(bào)警等模塊大量的查詢請(qǐng)求都需要多次調(diào)用該方法，導(dǎo)致了大量CPU資源的占用與浪費(fèi)。

4、解決方案

定位到問題之后，首先考慮是要減少計(jì)算次數(shù)，優(yōu)化異常方法。排查后發(fā)現(xiàn)，在邏輯層使用時(shí)，并沒有使用該方法返回的set集合中的內(nèi)容，而是簡(jiǎn)單的用set的size數(shù)值。確認(rèn)邏輯后，通過新方法簡(jiǎn)化計(jì)算（當(dāng)前秒數(shù)-當(dāng)天凌晨的秒數(shù)），替換調(diào)用的方法，解決計(jì)算過多的問題。上線后觀察服務(wù)器負(fù)載和cpu使用率，對(duì)比異常時(shí)間段下降了30倍，恢復(fù)至正常狀態(tài)，至此該問題得已解決。

圖片

5、總結(jié)

  • 在編碼的過程中，除了要實(shí)現(xiàn)業(yè)務(wù)的邏輯，也要注重代碼性能的優(yōu)化。一個(gè)業(yè)務(wù)需求，能實(shí)現(xiàn)，和能實(shí)現(xiàn)的更高效、更優(yōu)雅其實(shí)是兩種截然不同的工程師能力和境界的體現(xiàn)，而后者也是工程師的核心競(jìng)爭(zhēng)力。
  • 在代碼編寫完成之后，多做 review，多思考是不是可以用更好的方式來實(shí)現(xiàn)。
  • 線上問題不放過任何一個(gè)小細(xì)節(jié)！細(xì)節(jié)是魔鬼，技術(shù)的同學(xué)需要有刨根問題的求知欲和追求卓越的精神，只有這樣，才能不斷的成長和提升。

附上show-busy-java-threads.sh腳本：




















































































































































#!/bin/bash# @Function# Find out the highest cpu consumed threads of java, and print the stack of these threads.## @Usage# $ ./show-busy-java-threads.sh## @author Jerry Lee
readonly PROG=`basename$0`readonly-a COMMAND_LINE=("$0""$@")
usage(){cat<<EOFUsage: ${PROG}[OPTION]...Find out the highest cpu consumed threads of java, and print the stack of these threads.Example: ${PROG}-c 10
Options:-p,--pid find out the highest cpu consumed threads from the specifed java process,default from all java process.-c,--count set the thread count to show, default is 5-h,--helpdisplay this help and exitEOFexit$1}
readonly ARGS=`getopt -n "$PROG" -a -o c:p:h -l count:,pid:,help -- "$@"`[ $?-ne 0]&& usage 1evalset--"${ARGS}"
whiletrue;docase"$1"in-c|--count)count="$2"shift2;-p|--pid)pid="$2"shift2;-h|--help)usage;--)shiftbreak;esacdonecount=${count:-5}
redEcho(){[-c /dev/stdout ]&&{# if stdout is console, turn on color output.echo-ne "


孝感市|
南部县|
确山县|
天峻县|
大城县|
荣昌县|
武山县|
张北县|
五台县|
汤原县|
武隆县|
卫辉市|
简阳市|
江孜县|
固安县|
太保市|
南投县|
开江县|
邻水|
泗水县|
东乌|
洪雅县|
深水埗区|
长治市|
江安县|
九龙城区|
新巴尔虎右旗|
马山县|
西充县|
潞西市|
渭源县|
石景山区|
军事|
游戏|
贺兰县|
洛阳市|
塔城市|
海盐县|
大竹县|
土默特右旗|
昂仁县|