又一起血淚教訓(xùn)？是時候?qū)⑦\維變更意識刻到骨子里了…
運維，或許是一個在 IT 技術(shù)崗中很尷尬的職位。
其一，許多應(yīng)屆生都未曾接觸過，對工作的職能界定非常模糊；
其二，很多其他技術(shù)崗的往屆生會覺得，“臥槽，這么 low 逼，只會重啟推配置做發(fā)布”；
其三，正在從事運維崗的往屆生會覺得自己在公司的 KPI 很難體現(xiàn)。我在從事運維工作的前 2 年，也總是問自己：WTF，到底我的存在有啥意義？
一件小事以及引發(fā)的思考
127.0.0.1 重做 raid，告警忽略@同事B@同事C
運維需要清楚“變更的需求背景”
我：A，你了解變更背景嗎？
A：因為 X 哥告訴我需要重做 raid。我：為什么需要重做 raid？
A：因為需要給線上生產(chǎn)環(huán)境部署一套 FTP，做 raid5，而原來是 none-raid。
這一點上，A同學(xué)是可以回答的上來的，但是對于接到任務(wù)之后，就不假思索的去做，是很可怕的，因為你并不知道做這件事情的意義。
每一次變更就和開車并道一樣，并一次就多一分產(chǎn)生車禍的風(fēng)險，需要清楚衡量變更的意義和價值，權(quán)衡風(fēng)險和價值的輕重，才可以對此次變更進(jìn)行有效的精力投入評估。BTW，我們必須要問自己一句：這個變更一定要做嗎，是否值得對需求方提出挑戰(zhàn)？
車禍猛如虎，變更也一樣
運維需要清楚“變更的合適時間”
我：你決定什么時候去做？
A：接到任務(wù)就直接想去做了。
我：下午 2 ~ 3 點有方案演示，萬一你產(chǎn)生了誤操作，導(dǎo)致演示失敗，客戶會如何？
A：我沒有想到這一點。假設(shè)每次變更都有產(chǎn)生故障的可能性，那么就必須要確認(rèn)清楚最佳變更時間。有幾個原則：
a. 避開本產(chǎn)品線業(yè)務(wù)高峰期、關(guān)鍵期；
b. 和同產(chǎn)品線的其他變更互斥；
c. 和相關(guān)產(chǎn)品線的其他變更互斥。
這一點上，同學(xué)A由于信息渠道窄，并沒有接到業(yè)務(wù)部門對產(chǎn)品演示的通告，違反了原則a。怎么規(guī)避掉這個風(fēng)險呢？就是把變更看成一個項目進(jìn)行推進(jìn)，每個環(huán)節(jié)的進(jìn)展需要同步告知干系人，干系人負(fù)責(zé)進(jìn)行風(fēng)險評估。
運維需要成為“變更的項目經(jīng)理”
我：你有清楚了解這臺服務(wù)器之前的情況嗎？
A：沒有，我沒有想到。我：你知道如果之前這臺服務(wù)器上有運行核心服務(wù)的進(jìn)程沒有下線，會造成什么后果嗎？
A：X哥說這臺機(jī)器是新裝機(jī)之前沒有服務(wù)的。我：運維需要做最后一道防線，要具備質(zhì)疑的精神，X哥說的不一定是『真』的，你需要再確認(rèn)下。
運維需要“遵循變更流程”
我：為什么要先做 raid 再告訴同事忽略報警？
A：這樣也沒什么問題嗎，不就是騷擾大家一下，我也提醒了。我：為什么不走流程，先關(guān)報警再變更？
A：沒必要吧，SA每天這么多操作都需要這樣？我：不關(guān)注細(xì)節(jié)，終會釀成大錯，當(dāng)年我因為沒有關(guān)注流程出現(xiàn)過600個節(jié)點同時宕機(jī)的誤操作。假設(shè)你的報警淹沒了當(dāng)時的其他重要報警，我們晚發(fā)現(xiàn)核心業(yè)務(wù)故障5分鐘，你知道損失是多少嗎？
A：……（慚愧）
變更的大致流程是：需求確認(rèn) -> 干系業(yè)務(wù)/人確定 -> 方案探討 -> 方案確立&時間確立 -> 變更單撰寫 -> 變更單 review -> 審批報備 -> 變更通告 -> 方案實施 -> 方案效果反饋 (-> 回滾方案)，可酌情進(jìn)行步驟刪減。
遵循變更流程的主要好處是，首先，你可以在整理變更步驟的時候仔細(xì)思考每一處風(fēng)險點，多次變更之后可以固化下來風(fēng)險相對較小的標(biāo)準(zhǔn)化文檔，后續(xù)可以把重復(fù)操作自動化。
其次，風(fēng)險均攤及最小化，方案是大家探討后確定的，時間是大家商量后認(rèn)可的，流程是經(jīng)過審批報備的。真的，如果把類似的流程貫徹下去，因為變更產(chǎn)生故障的概率會大大降低。現(xiàn)在成熟的公司運維團(tuán)隊，都已經(jīng)把類似的流程固化到運維平臺里了，但是又有多少團(tuán)隊的負(fù)責(zé)人真正在遵循，而不是隨便審批了事呢？不要和我談業(yè)務(wù)壓力有多大，不要和我談缺人手，原則是不能卻步的，否則撿了芝麻丟了西瓜。
一句真理
這么小的一個變更事件，我們可從中總結(jié)出那么多的經(jīng)驗，可見運維是一個全局操盤手，心不細(xì)真的不行。有一句話是之前我在阿里一直銘記在心的，雙手奉上給各位同行：對生產(chǎn)環(huán)境要有敬畏之心。
