10.1. 京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理
隨著大數(shù)據(jù)、云計(jì)算、智慧城市、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等應(yīng)用的快速發(fā)展，各行各業(yè)對(duì)于數(shù)據(jù)中心的需求量越來(lái)越大。數(shù)據(jù)中心單體規(guī)模越大、系統(tǒng)越復(fù)雜，其脆弱性也越高，對(duì)于數(shù)據(jù)中心運(yùn)行維護(hù)管理水平的要求也就越高。
數(shù)據(jù)中心運(yùn)維管理的范圍很廣泛，也是數(shù)據(jù)中心生命周期中最長(zhǎng)的一個(gè)階段，主要包括基礎(chǔ)設(shè)施、各種IT設(shè)備、信息與數(shù)據(jù)、應(yīng)用軟件等。運(yùn)維管理的好壞很大程度上決定了數(shù)據(jù)中心的使用壽命。本章主要介紹京東云華東數(shù)據(jù)中心在基礎(chǔ)設(shè)施運(yùn)維管理方面所做的努力。
數(shù)據(jù)中心設(shè)施運(yùn)維管理是為了確保數(shù)據(jù)中心基礎(chǔ)設(shè)施為電子信息系統(tǒng)提供穩(wěn)定可靠的運(yùn)行環(huán)境，確保電子信息系統(tǒng)和其支持系統(tǒng)能夠安全、穩(wěn)定、可靠、持續(xù)并高能效地運(yùn)行，實(shí)現(xiàn)運(yùn)行維護(hù)的及時(shí)性、規(guī)范性、安全性和可用性。
10.1.1. 京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理的目標(biāo)和內(nèi)容
京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理核心團(tuán)隊(duì)組建于數(shù)據(jù)中心建設(shè)初期，其主要的專(zhuān)業(yè)技術(shù)管理人員都深度參與了整個(gè)數(shù)據(jù)中心園區(qū)的工程建設(shè)以及測(cè)試驗(yàn)證等重要階段，對(duì)數(shù)據(jù)中心從無(wú)到有的過(guò)程都非常熟悉。在數(shù)據(jù)中心交付之前，他們就已經(jīng)了解這個(gè)數(shù)據(jù)中心基礎(chǔ)設(shè)施系統(tǒng)的構(gòu)成，掌握所有設(shè)計(jì)、施工、變更、整改的技術(shù)文檔和測(cè)試數(shù)據(jù)，知道哪些部分是此后運(yùn)維工作需要特別關(guān)注的薄弱點(diǎn)。
設(shè)施運(yùn)維管理的基本目標(biāo)包括：
1) 對(duì)與信息系統(tǒng)服務(wù)有關(guān)的數(shù)據(jù)中心各項(xiàng)管理對(duì)象進(jìn)行系統(tǒng)地計(jì)劃、組織、協(xié)調(diào)與控制。
2) 依托于已交付的基礎(chǔ)設(shè)施，通過(guò)科學(xué)的管理，最終使數(shù)據(jù)中心得以實(shí)現(xiàn)服務(wù)與經(jīng)濟(jì)上的目標(biāo)。
“三分技術(shù)，七分管理”。大量的事實(shí)表明，數(shù)據(jù)中心運(yùn)行的好與差，評(píng)判標(biāo)準(zhǔn)很大程度上是由管理水平的高低所決定的。一個(gè)數(shù)據(jù)中心即便采用了最新的技術(shù)，如果運(yùn)維管理不當(dāng)，一定不是一個(gè)好的數(shù)據(jù)中心。一個(gè)好的數(shù)據(jù)中心會(huì)通過(guò)科學(xué)的運(yùn)維管理，充分利用本身現(xiàn)有的技術(shù)和設(shè)備，將運(yùn)行成本降到最低，而使能源利用最大化。
京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理還有一個(gè)非常重要的目標(biāo)是“建立一套持續(xù)改進(jìn)的機(jī)制”，這點(diǎn)往往容易被人們忽略。數(shù)據(jù)中心設(shè)施運(yùn)維管理與數(shù)據(jù)中心設(shè)施系統(tǒng)建設(shè)階段的項(xiàng)目管理有很大的不同。項(xiàng)目管理是一次性的，必須保障“當(dāng)前最佳”，因?yàn)闆](méi)有機(jī)會(huì)推倒重來(lái)；而數(shù)據(jù)中心運(yùn)維管理是一個(gè)不斷循環(huán)迭代的過(guò)程?！耙惶壮掷m(xù)改進(jìn)的機(jī)制”可以保障數(shù)據(jù)中心運(yùn)行效率不斷提高、運(yùn)行成本不斷降低。數(shù)據(jù)中心的設(shè)施運(yùn)維工作是一個(gè)不斷改善的過(guò)程，正所謂“沒(méi)有最好，只有更好”。
所謂運(yùn)行，是指對(duì)數(shù)據(jù)中心設(shè)施系統(tǒng)與設(shè)備進(jìn)行日常地啟?？刂啤?shù)設(shè)置、狀態(tài)監(jiān)控和優(yōu)化調(diào)節(jié)，以確保電子信息系統(tǒng)和設(shè)施系統(tǒng)自身獲得安全、高效的運(yùn)行環(huán)境。
所謂維護(hù)，是指為保證數(shù)據(jù)中心設(shè)施系統(tǒng)與設(shè)備具備正常運(yùn)行所需要的條件，達(dá)到提高可靠性、排除隱患、延長(zhǎng)壽命期等目的所進(jìn)行的工作，包括定期巡檢、檢測(cè)、維護(hù)和保養(yǎng)等。
設(shè)施運(yùn)行維護(hù)對(duì)象應(yīng)包括如下系統(tǒng)：
電氣系統(tǒng)
高壓配電設(shè)備
電力變壓器
低壓配電設(shè)備
不間斷電源系統(tǒng)，UPS和電池
配電列頭柜
柴油發(fā)電系統(tǒng)
防雷接地系統(tǒng)
照明設(shè)備
電纜和母線槽
暖通系統(tǒng)
冷源系統(tǒng)
精密空調(diào)
水管路系統(tǒng)
通風(fēng)設(shè)備
風(fēng)管路系統(tǒng)
智能化系統(tǒng)
出入口控制系統(tǒng)
入侵報(bào)警系統(tǒng)
視頻監(jiān)控系統(tǒng)
電子巡更系統(tǒng)
環(huán)境監(jiān)控系統(tǒng)
設(shè)備監(jiān)控系統(tǒng)
消防系統(tǒng)
消防供配電設(shè)施
火災(zāi)自動(dòng)報(bào)警系統(tǒng)
消防供水設(shè)施及消火栓系統(tǒng)
自動(dòng)滅火系統(tǒng)
防排煙系統(tǒng)
防火分隔設(shè)置
應(yīng)急照明與疏散指示系統(tǒng)
應(yīng)急廣播系統(tǒng)
消防專(zhuān)用電話
建筑滅火器
10.1.2. 京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理制度
1.人員管理
人是數(shù)據(jù)中心設(shè)施運(yùn)維管理的基礎(chǔ)，也是管理的核心。京東云華東數(shù)據(jù)中心的設(shè)施運(yùn)維團(tuán)隊(duì)按照工作內(nèi)容劃分為以下兩個(gè)主要職能：
運(yùn)維巡檢團(tuán)隊(duì)：實(shí)行7×24小時(shí)輪崗工作制，對(duì)基礎(chǔ)設(shè)備設(shè)施進(jìn)行巡檢，擔(dān)任值班工作，第一時(shí)間發(fā)現(xiàn)故障或問(wèn)題，并作為管理程序的執(zhí)行者。主要包括電工、管道工、制冷工等，各個(gè)工種的技術(shù)員均持證上崗，協(xié)同作業(yè)。
技術(shù)管理團(tuán)隊(duì)：對(duì)數(shù)據(jù)中心場(chǎng)地基礎(chǔ)設(shè)施提供運(yùn)維技術(shù)支持，解決技術(shù)問(wèn)題，承擔(dān)數(shù)據(jù)中心場(chǎng)地基礎(chǔ)設(shè)施一般性的優(yōu)化改造工程的項(xiàng)目管理工作，即運(yùn)維管理核心團(tuán)隊(duì)，包括運(yùn)維經(jīng)理以及暖通、電氣、智能化等專(zhuān)業(yè)的技術(shù)人員。
此外，運(yùn)維團(tuán)隊(duì)還定期組織技術(shù)交流分享會(huì)，在提升大家實(shí)戰(zhàn)技能的同時(shí)，促進(jìn)員工之間互相學(xué)習(xí)。
2.設(shè)施管理
1) 設(shè)備臺(tái)賬制度
給每個(gè)獨(dú)立的數(shù)據(jù)中心模塊建立完整并實(shí)時(shí)更新的設(shè)備臺(tái)賬。臺(tái)賬包括所有關(guān)鍵基礎(chǔ)設(shè)施設(shè)備的清單，并完整記錄這些設(shè)備設(shè)施的運(yùn)行情況、事件情況、變更情況、維護(hù)保養(yǎng)頻次等信息。
對(duì)影響安全運(yùn)行的關(guān)鍵設(shè)備，如UPS、冷水機(jī)組、精密空調(diào)等的設(shè)定參數(shù)以及關(guān)鍵點(diǎn)的報(bào)警閥值制定了統(tǒng)一管理制度，結(jié)合數(shù)據(jù)中心實(shí)際運(yùn)行情況經(jīng)技術(shù)討論后按統(tǒng)一參數(shù)值設(shè)定，運(yùn)維巡檢人員不可以隨意修改。
2) 預(yù)防性維護(hù)計(jì)劃
為延長(zhǎng)設(shè)備的使用壽命，減少設(shè)備故障的概率，必須對(duì)所有設(shè)備設(shè)施進(jìn)行有計(jì)劃地維護(hù)。通過(guò)定期檢查和保養(yǎng)，是設(shè)備設(shè)施的某些缺陷或隱患在變得更嚴(yán)重之前被發(fā)現(xiàn)。
運(yùn)維團(tuán)隊(duì)根據(jù)不同系統(tǒng)的設(shè)備情況與供應(yīng)商充分溝通，按照供應(yīng)商的建議提前制定年度、季度、月度預(yù)防性維護(hù)計(jì)劃。運(yùn)維人員按照各設(shè)備系統(tǒng)的特性、維護(hù)流程及規(guī)范，及時(shí)、完整地落實(shí)維護(hù)工作，并形成客觀實(shí)際的記錄和報(bào)告存檔。此外，運(yùn)維團(tuán)隊(duì)還定期對(duì)設(shè)備運(yùn)行狀態(tài)的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和趨勢(shì)量化分析，對(duì)于異常的趨勢(shì)，及時(shí)作出報(bào)警和相關(guān)預(yù)案。
3) 維修工單制度
運(yùn)維人員在接到工單時(shí)，能明確獲悉工作任務(wù)與注意事項(xiàng)，提前熟悉操作流程，做到心中有數(shù)；在維修操作過(guò)程中，工單也可以起到指導(dǎo)操作的作用；在維修工作結(jié)束交單、備案歸檔。如在維修過(guò)程中遇到困難，亦可以向技術(shù)管理層及時(shí)反饋，做到閉環(huán)控制。
4) 操作流程
對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的所有操作，都事先制定詳細(xì)規(guī)范的操作流程，并要求每一位運(yùn)維人員在開(kāi)展運(yùn)維工作時(shí)嚴(yán)格按照流程執(zhí)行，主要包括：
維護(hù)作業(yè)程序MOP：根據(jù)設(shè)備供應(yīng)商提供的建議，結(jié)合數(shù)據(jù)中心的自身特點(diǎn)指定，用于指導(dǎo)對(duì)數(shù)據(jù)中心關(guān)鍵基礎(chǔ)設(shè)施設(shè)備進(jìn)行維護(hù)、維修、安裝、操作時(shí)執(zhí)行的流程。
標(biāo)準(zhǔn)操作流程SOP：所有關(guān)鍵基礎(chǔ)設(shè)施設(shè)備在任何情況下必須嚴(yán)格執(zhí)行的常用操作流程。比如，啟停發(fā)電機(jī)組的操作流程，UPS轉(zhuǎn)換到旁路帶載操作流程，機(jī)柜加電流程，故障應(yīng)急流程等。
應(yīng)急操作流程EOP：在有可能發(fā)生嚴(yán)重故障的情況下應(yīng)執(zhí)行的流程。嚴(yán)重故障通常是指有可能使數(shù)據(jù)中心一個(gè)或多個(gè)主機(jī)房發(fā)生大面積宕機(jī)的故障。
5) 備件、耗材、儀器、工具管理
運(yùn)維團(tuán)隊(duì)根據(jù)設(shè)備臺(tái)賬及其分類(lèi)制定最低備件和耗材的庫(kù)存清單并及時(shí)補(bǔ)充備件和耗材。為規(guī)范倉(cāng)庫(kù)管理，指定專(zhuān)門(mén)的庫(kù)房管理員，定期盤(pán)點(diǎn)庫(kù)存，公示庫(kù)存情況。凡申請(qǐng)備件和耗材的運(yùn)維人員必須實(shí)名填寫(xiě)申請(qǐng)單，說(shuō)明申請(qǐng)緣由和數(shù)量，由管理員登記在案。物資的出庫(kù)、入庫(kù)必須經(jīng)由管理員清點(diǎn)記錄，其他人不得隨意進(jìn)出庫(kù)房。管理員需保證庫(kù)房安全，物資完好無(wú)損，不出事故。
將運(yùn)維用的儀器和工具分門(mén)別類(lèi)放置，每次運(yùn)維人員交接班時(shí)對(duì)儀器和工具進(jìn)行清點(diǎn)，簽字確認(rèn)。對(duì)比較復(fù)雜的儀器儀表制定相關(guān)的操作指導(dǎo)規(guī)范。定期對(duì)儀器儀表進(jìn)行校準(zhǔn)。
6) 生命周期管理
運(yùn)維核心團(tuán)隊(duì)基于設(shè)施設(shè)備的合理生命周期，結(jié)合風(fēng)險(xiǎn)評(píng)估，制定設(shè)備維護(hù)、升級(jí)或更換的計(jì)劃或預(yù)算，及時(shí)報(bào)告給上級(jí)主管部門(mén)。
3.運(yùn)行管理
1) 日常巡檢及交接班管理
在正常開(kāi)展運(yùn)維工作時(shí)采用A、B角色配置，至少保證兩名不同工種的運(yùn)維工程師配合巡檢，同時(shí)保證值班室留人員，及時(shí)通報(bào)數(shù)據(jù)中心運(yùn)行狀態(tài)異常情況，重要問(wèn)題就近人員應(yīng)急處理。
交接班時(shí)主要交接內(nèi)容包括：設(shè)備有無(wú)異常情況發(fā)生；當(dāng)班遺留工作及完成內(nèi)容；異常情況簡(jiǎn)述及處理；上級(jí)命令、指示的內(nèi)容和執(zhí)行情況；各種工具、儀器儀表、鑰匙、工作記錄和資料；機(jī)房環(huán)境衛(wèi)生情況；提醒接班者應(yīng)注意的事項(xiàng)及其他問(wèn)題。在交接班時(shí)間內(nèi)發(fā)生事故或異常現(xiàn)象，仍由交班人員處理，接班人員應(yīng)予以必要的協(xié)助完成。
2) 安全防范制度
將數(shù)據(jù)中心根據(jù)重要等級(jí)和功能區(qū)劃分相應(yīng)的控制區(qū)域，對(duì)出入權(quán)限實(shí)行分區(qū)、分級(jí)管理，對(duì)重要區(qū)域設(shè)置多重認(rèn)證措施。所有訪客一律實(shí)名登記，獲得相應(yīng)授權(quán)后，在運(yùn)維工作人員的陪同下方可進(jìn)入機(jī)房區(qū)域。
機(jī)房區(qū)域設(shè)有7×24小時(shí)視頻監(jiān)控，所有進(jìn)入監(jiān)控區(qū)的人員活動(dòng)情況將被監(jiān)控系統(tǒng)記錄保存90天以上。
3) 機(jī)房清潔管理
劃定保潔區(qū)域，定期做好機(jī)房保潔工作，保證地板及地板下的無(wú)塵狀態(tài)。在重要區(qū)域進(jìn)行保潔工作時(shí)必須有運(yùn)維人員現(xiàn)場(chǎng)監(jiān)督和指導(dǎo)。
4) 事件管理
數(shù)據(jù)中心故障按照影響程度的不同分為四類(lèi)事件。運(yùn)維團(tuán)隊(duì)制定事件管理流程，明確不同等級(jí)事件下相應(yīng)的處理流程。在數(shù)據(jù)中心故障發(fā)生時(shí)，嚴(yán)格按照事件的類(lèi)型進(jìn)行升級(jí)報(bào)告。
事件等級(jí)分類(lèi)
一級(jí)事件：關(guān)鍵服務(wù)中斷，影響SLA（服務(wù)等級(jí)協(xié)議）達(dá)成；
二級(jí)事件：關(guān)鍵服務(wù)組件出現(xiàn)故障，導(dǎo)致不滿足冗余條件或服務(wù)水平下降，有潛在影響SLA的可能性；
三級(jí)事件：非關(guān)鍵服務(wù)組件故障，不影響SLA的達(dá)成
四級(jí)事件：非關(guān)鍵服務(wù)組件的質(zhì)量下降，造成輕微可以忽略的影響
事件升級(jí)報(bào)告
一級(jí)事件
二級(jí)事件
三級(jí)事件
四級(jí)事件
現(xiàn)場(chǎng)運(yùn)維工程師
3分鐘內(nèi)報(bào)告運(yùn)維主管
3分鐘內(nèi)報(bào)告運(yùn)維主管
3分鐘內(nèi)報(bào)告運(yùn)維主管
運(yùn)維工程師現(xiàn)場(chǎng)處理
運(yùn)維主管
5分鐘內(nèi)報(bào)告運(yùn)維經(jīng)理
5分鐘內(nèi)報(bào)告運(yùn)維經(jīng)理
運(yùn)維經(jīng)理
10分鐘內(nèi)報(bào)告運(yùn)維總監(jiān)
10分鐘內(nèi)報(bào)告運(yùn)維總監(jiān)
運(yùn)維總監(jiān)
5分鐘內(nèi)報(bào)告主管VP
5) 應(yīng)急響應(yīng)
設(shè)施應(yīng)急預(yù)案演練
針對(duì)對(duì)應(yīng)的應(yīng)急操作流程EOP進(jìn)行定期的演練工作，旨在發(fā)現(xiàn)應(yīng)急操作時(shí)存在的薄弱環(huán)節(jié)，采取及時(shí)補(bǔ)救措施，提高運(yùn)維人員應(yīng)對(duì)突然事件的團(tuán)隊(duì)協(xié)作能力和應(yīng)變能力，縮短突發(fā)事故的處理時(shí)間，確保數(shù)據(jù)中心基礎(chǔ)設(shè)施安全運(yùn)行。主要包括：
沙盤(pán)演練：參與演練的運(yùn)維人員分別口述在發(fā)生緊急情況下自身所應(yīng)承擔(dān)的職責(zé)及將會(huì)執(zhí)行的方案及步驟。
跑位演練：參與演練的運(yùn)維人員跑位到模擬故障現(xiàn)場(chǎng)，模擬處理故障，參與人員應(yīng)清晰地說(shuō)出故障的處理方案及步驟。
人員安全應(yīng)急流程
運(yùn)維團(tuán)隊(duì)針對(duì)影響運(yùn)維人員身體健康的人身事故制定應(yīng)急流程并定期演練，包括設(shè)置現(xiàn)場(chǎng)急救包以及聯(lián)系當(dāng)?shù)蒯t(yī)療急救機(jī)構(gòu)的方式等。
6) 容量管理
空間容量
主要包括IT設(shè)備擺放空間、基礎(chǔ)設(shè)備設(shè)施擺放空間、綜合布線線路空間和配線架的管理。
能力容量
主要包括電力供應(yīng)容量、制冷供應(yīng)容量、綜合布線信息點(diǎn)容量的管理。
運(yùn)維團(tuán)隊(duì)定期填寫(xiě)運(yùn)維周報(bào)和月報(bào)，如實(shí)記錄數(shù)據(jù)中心空間容量和基礎(chǔ)設(shè)施使用情況的變化，便于上級(jí)管理人員進(jìn)行能源審計(jì)和能耗分析，掌握數(shù)據(jù)中心的整體利用率，預(yù)測(cè)業(yè)務(wù)增長(zhǎng)趨勢(shì)，提前制定擴(kuò)容或新建數(shù)據(jù)中心的計(jì)劃。
7) 能效管理
京東華東云數(shù)據(jù)中心PUE的計(jì)算方法見(jiàn)圖10.3.2-1：
圖10.3.2-1 京東云華東數(shù)據(jù)中心PUE計(jì)算方法
根據(jù)實(shí)際運(yùn)行數(shù)據(jù)分析，在低壓配電系統(tǒng)中，UPS系統(tǒng)用電量占比約68%~75%，冷源系統(tǒng)系統(tǒng)用電量占比約15%~20%，精密空調(diào)系統(tǒng)用電量占比約3%~5%，照明、通風(fēng)、辦公等其他用電量占比不到5%。所以，數(shù)據(jù)中心能效管理的目標(biāo)是在保證電子信息系統(tǒng)安全高效運(yùn)行的前提下，重點(diǎn)對(duì)UPS系統(tǒng)和冷源系統(tǒng)的運(yùn)行控制策略進(jìn)行合理優(yōu)化，降低整體PUE。
UPS系統(tǒng)的優(yōu)化控制
由UPS效率曲線（圖10.3.2-2）可以得出，負(fù)載率在10%以下時(shí)，UPS效率基本小于80%；負(fù)載率在10%~20%之間，UPS效率在80%~90%；負(fù)載率大于20%后，UPS效率大于90%；在負(fù)載率30%以上時(shí)，UPS效率曲線接近于直線，負(fù)載率的變化幾乎不再影響UPS效率變化。
圖10.3.2-2 UPS效率曲線
京東華東云數(shù)據(jù)中心采取UPS逆變器模塊休眠技術(shù)，前期在UPS低負(fù)荷運(yùn)行時(shí)，關(guān)閉一定數(shù)量的模塊，讓單機(jī)UPS達(dá)到較高的負(fù)載量，從而提高UPS的效率。這樣，只要使得UPS單機(jī)負(fù)載在30%以上，在低負(fù)載時(shí)效率已經(jīng)可到達(dá)幾乎滿載時(shí)的效率。
另外，休眠功能還有一個(gè)令數(shù)據(jù)中心擔(dān)心的問(wèn)題是休眠后能否及時(shí)喚醒的問(wèn)題，若休眠模塊不能及時(shí)喚醒，那么，帶載的模塊就可能出現(xiàn)過(guò)載保護(hù)的情況。本項(xiàng)目采取的運(yùn)行策略是，在帶載逆變器負(fù)荷率大于60%時(shí)，就喚醒休眠的模塊帶載。
此外，UPS逆變器模塊休眠還采用自動(dòng)輪換技術(shù)，每間隔一定時(shí)間，休眠的逆變器模塊自動(dòng)喚醒，而帶載的模塊自動(dòng)休眠。這樣一來(lái)，不僅自動(dòng)測(cè)試了UPS休眠功能，也使得逆變器模塊在整個(gè)生命周期內(nèi)帶載時(shí)間均衡。
冷源系統(tǒng)的優(yōu)化控制
對(duì)冷源系統(tǒng)冷量的瞬時(shí)值和累積值進(jìn)行監(jiān)測(cè)，冷水機(jī)組優(yōu)先采用由冷量?jī)?yōu)化控制運(yùn)行臺(tái)數(shù)的方式。對(duì)于京東云華東數(shù)據(jù)中心選用的三級(jí)壓縮離心式冷水機(jī)組來(lái)說(shuō)，40%~80%負(fù)載為其高效率區(qū)。所以根據(jù)系統(tǒng)負(fù)荷的變化，合理控制冷水機(jī)組的開(kāi)啟臺(tái)數(shù)，使機(jī)組負(fù)載經(jīng)常保持在高效區(qū)運(yùn)行，對(duì)于機(jī)組節(jié)能有顯著效果。
圖10.3.2-3 三級(jí)壓縮離心式冷水機(jī)組能效曲線
京東云華東數(shù)據(jù)中心冷源系統(tǒng)的設(shè)計(jì)供回水溫度為10/16℃。在實(shí)際運(yùn)行過(guò)程中，根據(jù)室外環(huán)境的變化調(diào)整冷凍水供水溫度設(shè)定值可以節(jié)省冷機(jī)功耗。有研究表明，冷凍水供水溫度提高1℃，冷機(jī)功耗可降低4%左右。提高冷凍水供水溫度還能延長(zhǎng)自然冷卻工況的運(yùn)行時(shí)間。經(jīng)過(guò)理論測(cè)算，當(dāng)供水溫度為10℃時(shí)，自然冷卻工況可運(yùn)行3.5~4個(gè)月左右；當(dāng)供水溫度為12℃時(shí)，自然冷卻工況可延長(zhǎng)1個(gè)月左右。而實(shí)際情況表明，當(dāng)供水溫度提高到15℃甚至更高，全年可使用自然冷卻的時(shí)間長(zhǎng)達(dá)半年。而且14℃的供水溫度依然能保持機(jī)房環(huán)境溫度在26℃左右，符合GB50174-2017的推薦溫度。
在自然冷卻狀態(tài)下，關(guān)閉冷水機(jī)組使其進(jìn)入待用狀態(tài)，只開(kāi)啟冷凍和冷卻水泵、冷卻塔，保持供水水溫在16度以下。在完全免費(fèi)制冷季切換到常規(guī)制冷季過(guò)渡時(shí)段（即氣溫小幅升高基本穩(wěn)定，但未到常規(guī)制冷設(shè)計(jì)室外狀態(tài)點(diǎn)），可先開(kāi)啟一組冷源設(shè)備，將冷水機(jī)組和冷卻塔切換為常規(guī)制冷狀態(tài)，待該組冷源供冷穩(wěn)定后關(guān)閉；隨氣溫緩慢升高，按照以上操作，逐步增加切換機(jī)組的數(shù)量，直至將全部冷水機(jī)組切換為常規(guī)制冷狀態(tài)，自然冷卻工況結(jié)束。從常規(guī)制冷季到完全免費(fèi)制冷季，可按完全相反的順序進(jìn)行操作切換。
對(duì)于加裝了變頻器的電動(dòng)設(shè)備，比如水泵和冷卻塔，保證設(shè)備頻率隨冷量變化動(dòng)態(tài)調(diào)整很重要。前文中有提到，變頻設(shè)備的流量與頻率比成正比，功耗與頻率比的三次方成正比。多臺(tái)并機(jī)、降頻運(yùn)行可以極大地節(jié)省設(shè)備功耗。不過(guò)為避免水泵本體過(guò)熱，頻率不宜低于30Hz。
圖10.3.2-4 京東云華東數(shù)據(jù)中心變頻水泵的測(cè)試驗(yàn)證數(shù)據(jù)
圖10.3.2-5 京東云華東數(shù)據(jù)中心變頻水泵的功率曲線
精密空調(diào)系統(tǒng)的優(yōu)化控制
京東云華東數(shù)據(jù)中心的精密空調(diào)全部采用EC風(fēng)機(jī)，對(duì)EC風(fēng)機(jī)的優(yōu)化控制可以幫助降低精密空調(diào)系統(tǒng)的能耗。如下圖所示，橫坐標(biāo)表示EC風(fēng)機(jī)實(shí)際運(yùn)行風(fēng)量與額定風(fēng)量的比值，縱坐標(biāo)表示EC風(fēng)機(jī)實(shí)際功耗與額定功耗的比值。可以看出，隨著EC風(fēng)機(jī)風(fēng)量的減少，功耗不斷下降?，F(xiàn)場(chǎng)實(shí)測(cè)試數(shù)據(jù)顯示，50%以下風(fēng)量時(shí)，功耗下降并不明顯，而且運(yùn)行風(fēng)險(xiǎn)增大，所以EC風(fēng)機(jī)的風(fēng)量設(shè)置不宜低于50%。當(dāng)主機(jī)房IT負(fù)載未達(dá)到滿載時(shí)，增加精密空調(diào)運(yùn)行數(shù)量，降低單臺(tái)空調(diào)風(fēng)量有助于節(jié)能。
圖10.3.2-6 京東云華東數(shù)據(jù)中心實(shí)測(cè)EC風(fēng)機(jī)風(fēng)量比與能耗比的關(guān)系曲線
照明系統(tǒng)的優(yōu)化控制
京東云華東數(shù)據(jù)中心所有主機(jī)房均采用分布式照明智能控制系統(tǒng)。人員進(jìn)入機(jī)房間時(shí)燈具根據(jù)感應(yīng)打開(kāi)該部位燈具，人員離開(kāi)時(shí)燈具則按設(shè)定的延時(shí)時(shí)間自動(dòng)關(guān)閉。無(wú)人員進(jìn)入機(jī)房時(shí)燈具能滿足運(yùn)維監(jiān)控的最低照度，達(dá)到節(jié)能與自動(dòng)控制的目的。
10.1.1. 京東云華東數(shù)據(jù)中心設(shè)施運(yùn)維管理平臺(tái)
京東云華東數(shù)據(jù)中心是按照世界一流數(shù)據(jù)中心的理念設(shè)計(jì)和建設(shè)的，按照國(guó)際先進(jìn)的運(yùn)營(yíng)管理模式投入運(yùn)行，并為之設(shè)計(jì)了一套先進(jìn)、可靠的智能化基礎(chǔ)設(shè)施運(yùn)維管理平臺(tái)進(jìn)行系統(tǒng)性支撐。
系統(tǒng)平臺(tái)圍繞著以下目標(biāo)進(jìn)行設(shè)計(jì)和建設(shè)：
能高度穩(wěn)定可靠地監(jiān)控園區(qū)環(huán)境、各相關(guān)系統(tǒng)和設(shè)備的運(yùn)行狀態(tài)，為運(yùn)維管理提供必要信息；
整合園區(qū)內(nèi)IT系統(tǒng)與數(shù)據(jù)中心基礎(chǔ)設(shè)施的管理，架起兩者間的溝通橋梁，分析電力、冷卻、空間、服務(wù)器、存儲(chǔ)及網(wǎng)絡(luò)帶寬等相關(guān)資源的數(shù)據(jù)，最大化數(shù)據(jù)中心的運(yùn)營(yíng)效率，保障數(shù)據(jù)中心的可用性。
以各類(lèi)數(shù)據(jù)庫(kù)（全文數(shù)據(jù)庫(kù)、多媒體數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)）為管理工具，利用海量全文數(shù)據(jù)庫(kù)技術(shù)、數(shù)據(jù)加密和壓縮存儲(chǔ)等技術(shù)，實(shí)現(xiàn)監(jiān)控實(shí)時(shí)化、資產(chǎn)數(shù)字化、流程系統(tǒng)化、業(yè)務(wù)流暢化等，從而達(dá)到對(duì) IDC 業(yè)務(wù)涉及到的所有部門(mén)與資產(chǎn)統(tǒng)一管理的目標(biāo)。
通過(guò)規(guī)范流程管理，提高數(shù)據(jù)中心管理工作效率并提供安全舒適的工作環(huán)境；
節(jié)省數(shù)據(jù)中心運(yùn)行管理費(fèi)用，達(dá)到短期投資長(zhǎng)期受益的目的；
軟、硬件均采用模塊化結(jié)構(gòu)設(shè)計(jì)，適應(yīng)發(fā)展需要，做到具有可擴(kuò)展性、可變性，適應(yīng)環(huán)境的變化和工作性質(zhì)的多樣化，同時(shí)滿足今后與京東總部的數(shù)據(jù)中心云平臺(tái)對(duì)接的基本要求。
1.系統(tǒng)概況
京東云華東數(shù)據(jù)中心園區(qū)包含4個(gè)數(shù)據(jù)中心模塊，每個(gè)模塊配置一個(gè)獨(dú)立的監(jiān)控中心，整個(gè)園區(qū)設(shè)置一個(gè)綜合監(jiān)控中心ECC（位于園區(qū)中心）。
模塊級(jí)的監(jiān)控系統(tǒng)對(duì)基礎(chǔ)設(shè)施的監(jiān)控內(nèi)容包括：電氣部分（UPS、ATS、精密配電柜、智能電量?jī)x表、防雷開(kāi)關(guān)、蓄電池輸入開(kāi)關(guān)）；動(dòng)力部分（精密空調(diào)、冷水機(jī)組、水泵）；環(huán)境部分（溫濕度、漏水監(jiān)測(cè)、可燃?xì)怏w濃度監(jiān)測(cè)等）。系統(tǒng)對(duì)被監(jiān)控設(shè)備進(jìn)行實(shí)時(shí)的監(jiān)測(cè)和展示。其集成的子系統(tǒng)包括：高壓電力監(jiān)控系統(tǒng)（含柴油發(fā)電機(jī)、10KV進(jìn)線柜、饋線柜、直流電源屏、變壓器、配電開(kāi)關(guān)監(jiān)測(cè)等）、柴發(fā)供油控制系統(tǒng)。
園區(qū)級(jí)的系統(tǒng)平臺(tái)主要由四大功能模塊組成：基礎(chǔ)設(shè)施、客戶服務(wù)、客戶自助服務(wù)、大屏幕展示。這些功能模塊涵蓋 IDC 涉及的基礎(chǔ)設(shè)施運(yùn)維監(jiān)控及業(yè)務(wù)流程管理方面，例如：實(shí)時(shí)監(jiān)視、業(yè)務(wù)流程管理、資源視圖、值班 OA 等，對(duì)所有業(yè)務(wù)流程進(jìn)行分類(lèi)模塊化管理，流程完善、清晰。系統(tǒng)還針對(duì)四大功能模塊基于 Android 與 IOS 移動(dòng)終端開(kāi)發(fā)了微信操控平臺(tái)， 方便各部門(mén)人員與客戶對(duì) IDC 基礎(chǔ)業(yè)務(wù)的實(shí)時(shí)操控。
園區(qū)級(jí)的監(jiān)控平臺(tái)可實(shí)現(xiàn)以下功能：
可用性管理，可視化展示各設(shè)備設(shè)施實(shí)時(shí)狀態(tài)，實(shí)時(shí)掌握可用性狀況；
業(yè)務(wù)流程規(guī)范化管理，變更風(fēng)險(xiǎn)管控，降低變更帶給業(yè)務(wù)的影響；
復(fù)雜事件分析處理，準(zhǔn)確定位故障；大數(shù)據(jù)分析，智能預(yù)警；
設(shè)備部署合理，平衡各維度容量綜合利用率，避免單項(xiàng)容量短板；
可視化容量管理，直觀展示容量使用情況及趨勢(shì)分析，擴(kuò)容決策及時(shí)準(zhǔn)確；
提供多維度運(yùn)行分析報(bào)告，為運(yùn)營(yíng)決策提供數(shù)據(jù)支持；
重大故障可實(shí)時(shí)準(zhǔn)確提供數(shù)據(jù)中心應(yīng)急預(yù)案；
2.模塊級(jí)監(jiān)控系統(tǒng)架構(gòu)
系統(tǒng)架構(gòu)包含現(xiàn)場(chǎng)設(shè)備數(shù)據(jù)采集層、現(xiàn)場(chǎng)設(shè)備監(jiān)控層和集中監(jiān)控層。
現(xiàn)場(chǎng)設(shè)備數(shù)據(jù)采集層：由各種I/O采集模塊等組成，連接所有傳感器和被監(jiān)控設(shè)備，實(shí)現(xiàn)監(jiān)控平臺(tái)與被監(jiān)控對(duì)象的數(shù)據(jù)通訊。所有硬件采用模塊化架構(gòu)，I/O模塊采集傳感器數(shù)據(jù)后通過(guò)系統(tǒng)配置實(shí)現(xiàn)對(duì)所有傳感器的數(shù)據(jù)匹配對(duì)應(yīng)；各種智能設(shè)備直接接入現(xiàn)場(chǎng)監(jiān)控層。
現(xiàn)場(chǎng)設(shè)備監(jiān)控層：由多臺(tái)嵌入式服務(wù)器或獨(dú)立網(wǎng)絡(luò)控制器組成，負(fù)責(zé)收集與處理由現(xiàn)場(chǎng)設(shè)備采集層發(fā)送上來(lái)的數(shù)據(jù)?，F(xiàn)場(chǎng)應(yīng)根據(jù)系統(tǒng)總線數(shù)量、監(jiān)控單元的處理能力、機(jī)房物理分區(qū)等條件設(shè)置嵌入式服務(wù)器或獨(dú)立網(wǎng)絡(luò)控制器。
模塊集中監(jiān)控層：采集現(xiàn)場(chǎng)設(shè)備監(jiān)控層上傳的數(shù)據(jù)，對(duì)本模塊內(nèi)的現(xiàn)場(chǎng)監(jiān)控服務(wù)器進(jìn)行集中管理，實(shí)時(shí)監(jiān)測(cè)本塊組內(nèi)基礎(chǔ)設(shè)施的參數(shù)、狀態(tài)，并提供IE遠(yuǎn)程瀏覽服務(wù)。同時(shí)，使本模塊的監(jiān)控?cái)?shù)據(jù)具備上傳至園區(qū)綜合監(jiān)控中心綜合監(jiān)控層的能力。
集中管理平臺(tái)配置了“雙服務(wù)器+雙數(shù)據(jù)庫(kù)”，實(shí)現(xiàn)容錯(cuò)配置。
圖10.3.3-1 模塊級(jí)監(jiān)控系統(tǒng)界面（一）
圖10.3.3-2 模塊級(jí)監(jiān)控系統(tǒng)界面（二）
3.園區(qū)級(jí)監(jiān)控系統(tǒng)架構(gòu)
京東云（華東）數(shù)據(jù)中心綜合智能監(jiān)控管理平臺(tái)，可以實(shí)現(xiàn)對(duì)數(shù)據(jù)中心各設(shè)備和系統(tǒng)的統(tǒng)一監(jiān)控與管理，減輕維護(hù)人員工作負(fù)擔(dān)，同時(shí)提高整個(gè)系統(tǒng)的運(yùn)行可靠性、穩(wěn)定性和兼容性、可擴(kuò)性，實(shí)現(xiàn)機(jī)房的科學(xué)管理。
圖10.3.3-3 ECC控制中心大屏幕系統(tǒng)
1) 園區(qū)系統(tǒng)平臺(tái)架構(gòu)
著眼數(shù)據(jù)中心園區(qū)的整體規(guī)劃，系統(tǒng)采用“分布式”結(jié)構(gòu)，滿足全天24小時(shí)運(yùn)行，自動(dòng)故障報(bào)警監(jiān)測(cè)。系統(tǒng)能在分布式結(jié)構(gòu)的基礎(chǔ)上方便實(shí)現(xiàn)新設(shè)備、新子系統(tǒng)的接入。系統(tǒng)預(yù)留北向接口，為京東總部的數(shù)據(jù)中心云平臺(tái)提供數(shù)據(jù)。
圖10.3.3-4 園區(qū)級(jí)監(jiān)控平臺(tái)架構(gòu)圖
1) 基礎(chǔ)設(shè)施模塊功能
基礎(chǔ)設(shè)施管理模塊是集高壓供電系統(tǒng)、低壓UPS 保障系統(tǒng)、冷水控制系統(tǒng)、環(huán)控系統(tǒng)、消防報(bào)警系統(tǒng)、視頻監(jiān)控系統(tǒng)、門(mén)禁系統(tǒng)等實(shí)時(shí)監(jiān)控、操作為一體的操作平臺(tái)?；A(chǔ)設(shè)施模塊的構(gòu)成如圖10-4-6所示。
圖10.3.3-5 基礎(chǔ)設(shè)施模塊構(gòu)成圖
1) 客戶服務(wù)模塊功能
客服模塊保證第一時(shí)間受理客戶的需求，轉(zhuǎn)發(fā)至相關(guān)責(zé)任部門(mén)進(jìn)行下一步處理，并對(duì)工單進(jìn)行記錄跟進(jìn)，確保 IDC 機(jī)房流程的順暢。客戶服務(wù)管理模塊的構(gòu)成如圖10-4-7所示。
圖10.3.3-6 客戶服務(wù)管理模塊構(gòu)成圖
1) 客戶自助服務(wù)模塊功能
客戶自服務(wù)模塊支持客戶對(duì)自有設(shè)備的查看，以及對(duì) IDC 機(jī)房日常需求的申請(qǐng)發(fā)起?？蛻糇苑?wù)模塊功能如圖10-4-8所示。
圖10.3.3-7 客戶自服務(wù)模塊構(gòu)成圖
1) 大屏展示模塊功能
通過(guò)該模塊可以動(dòng)態(tài)的展示機(jī)房?jī)?nèi)重要設(shè)備的關(guān)鍵參數(shù)，實(shí)時(shí)直觀地顯示各系統(tǒng)設(shè)備的運(yùn)行數(shù)據(jù)、運(yùn)行狀態(tài)、機(jī)房?jī)?nèi)的情況、各子系統(tǒng)相關(guān)拓?fù)鋱D。大屏幕展示模塊構(gòu)成如圖10-4-9所示。
圖10.3.3-8 大屏展示模塊構(gòu)成圖
京東云華東數(shù)據(jù)中心是京東技術(shù)轉(zhuǎn)型的一個(gè)全新嘗試。從它目前運(yùn)營(yíng)的穩(wěn)定情況來(lái)說(shuō)無(wú)疑是成功的。這是一個(gè)可貴的開(kāi)始，意味著京東厚積薄發(fā)的技術(shù)實(shí)力得到了實(shí)踐的驗(yàn)證，也為今后在數(shù)據(jù)中心行業(yè)的技術(shù)探索增強(qiáng)了信心。
