通訊故障處置不當(dāng),網(wǎng)絡(luò)阻塞全廠停電
2013年12月4日,某燃機(jī)電廠西門子監(jiān)控系統(tǒng)網(wǎng)絡(luò)故障導(dǎo)致單臺機(jī)組跳閘,在網(wǎng)絡(luò)恢復(fù)過程中產(chǎn)生網(wǎng)絡(luò)阻塞引發(fā)另外兩臺機(jī)組同時跳閘,造成全廠對外全停的電力安全事件。
【事故經(jīng)過】
該電廠裝有3臺400MWF級的燃?xì)庖徽羝?lián)合循環(huán)機(jī)組,各臺機(jī)組監(jiān)控系統(tǒng)均采用西門子TELEPERMXP系統(tǒng)(簡稱“TXP系統(tǒng)”)。此外,三臺機(jī)組共設(shè)有公用系統(tǒng)一套。各機(jī)組TXP系統(tǒng)間數(shù)據(jù)通訊是由SINECNET總線承擔(dān),其中SINECNET總線系統(tǒng)分為工廠總線和終端總線兩部分。各機(jī)組TXP系統(tǒng)的工廠總線、終端總線分別與公用系統(tǒng)公用總線、終端總線連接。各機(jī)組TXP系統(tǒng)工廠總線共有9個網(wǎng)絡(luò)交換器(ESM),由光纖或電纜串接,正常運(yùn)行狀態(tài)下呈“C”型網(wǎng)運(yùn)行狀態(tài)。其中任一網(wǎng)絡(luò)交換器(ESM)具有冗余配置功能,通過相應(yīng)配置可以具有網(wǎng)絡(luò)斷點監(jiān)測功能。即當(dāng)網(wǎng)絡(luò)交換器(ESM)人工設(shè)置冗余配置功能后,如“C"型網(wǎng)中出現(xiàn)一個斷點時,則冗余配置功能生效,以保證網(wǎng)絡(luò)始終保持“C”型網(wǎng)運(yùn)行;如“C”型網(wǎng)中出現(xiàn)兩個及以上斷點時,則網(wǎng)絡(luò)將會異常。
2013年12月4日14時25分,#3機(jī)組跳閘,廠方工作人員通過查看SOE事件記錄,查明機(jī)組跳閘原因是工廠總線通訊故障。經(jīng)廠方工作人員對機(jī)組監(jiān)控系統(tǒng)的網(wǎng)絡(luò)及通訊設(shè)備檢查發(fā)現(xiàn),其中一個網(wǎng)絡(luò)交換器(ESM,編號為5P)故障報警,隨即廠方工作人員對其進(jìn)行了復(fù)位重置,但是故障未消除,報警仍然存在。經(jīng)廠方內(nèi)部協(xié)商后,對該網(wǎng)絡(luò)交換器利用廠內(nèi)備品備件進(jìn)行了在線更換,更換后,報警消失。在對#3機(jī)組監(jiān)控系統(tǒng)中網(wǎng)絡(luò)交換器(ESM,編號為5P)更換后數(shù)分鐘內(nèi),15時36分,#1、#2機(jī)組同時跳閘,相關(guān)監(jiān)視界面也同時異常。
三臺機(jī)組跳閘后,按照SPPA工程師建議,將#3機(jī)組TXP系統(tǒng)與公用系統(tǒng)之間網(wǎng)絡(luò)斷開后,隨后#1、#2機(jī)組監(jiān)控界面及監(jiān)控系統(tǒng)通訊網(wǎng)絡(luò)恢復(fù)正常。廠方工作人員在對該機(jī)組TXP系統(tǒng)所屬網(wǎng)絡(luò)交換器、連接線等逐一排查后,發(fā)現(xiàn)其中一個網(wǎng)絡(luò)交換器(ESM,編號為4P)所連接的連接線接頭(RJ45接頭)有松動現(xiàn)象;同時廠方工作人員通過查閱歷年維護(hù)記錄并根據(jù)SPPA工程師建議,利用備件網(wǎng)絡(luò)交換器(ESM,原編號為5P,前日更換下來的)對網(wǎng)絡(luò)交換器(ESM,編號為7P)進(jìn)行了更替,經(jīng)測試后,網(wǎng)絡(luò)恢復(fù)正常。并于2013年12月5日申請依次并網(wǎng)。
【原因分析】
1、西門子監(jiān)控系統(tǒng)的網(wǎng)絡(luò)設(shè)備故障導(dǎo)致單臺機(jī)組跳閘。#3機(jī)組TXP監(jiān)控系統(tǒng)網(wǎng)絡(luò)交換器(ESM,編號為4P)的連接接口(RJ45接頭)松動,同時由于網(wǎng)絡(luò)交換器(ESM,編號為7P)設(shè)備故障,造成兩個斷點,破壞了“C”型網(wǎng)運(yùn)行結(jié)構(gòu),造成#3機(jī)組TXP系統(tǒng)通訊中斷,引發(fā)#3機(jī)組工廠總線通訊故障保護(hù)跳閘。
2、更換功能相異的網(wǎng)絡(luò)設(shè)備導(dǎo)致其他兩臺機(jī)組跳閘。在#3機(jī)組TXP監(jiān)控系統(tǒng)網(wǎng)絡(luò)交換器(ESM)存在異常信號下,廠方工作人員采取了更換措施。由于日常維護(hù)均由其生產(chǎn)廠商西門子承擔(dān),而西門子對電廠工作人員并未進(jìn)行相關(guān)設(shè)備技術(shù)交底,致使廠方工作人員更換#3機(jī)組網(wǎng)絡(luò)交換器時,由于外觀相同難以辨別功能差異,使#3機(jī)組TXP系統(tǒng)網(wǎng)絡(luò)形成“O"型,導(dǎo)致通訊網(wǎng)絡(luò)阻塞,進(jìn)而引發(fā)#1、#2機(jī)組因通訊故障保護(hù)跳閘。
3、西門子機(jī)組監(jiān)控系統(tǒng)網(wǎng)絡(luò)設(shè)備重要故障告警功能不足。西門子機(jī)組監(jiān)控系統(tǒng)對#3機(jī)組網(wǎng)絡(luò)交換器連接接口(RJ45接頭)松動和另一網(wǎng)絡(luò)交換器未能及時有效地告警提示運(yùn)行人員,導(dǎo)致設(shè)備異常同時出現(xiàn)時,#3機(jī)組通訊網(wǎng)絡(luò)形成斷點,監(jiān)控系統(tǒng)故障,致使#3機(jī)組保護(hù)跳閘。
4、西門子機(jī)組監(jiān)控系統(tǒng)對網(wǎng)絡(luò)通訊故障隔離措施不到位。西門子機(jī)組監(jiān)控系統(tǒng)對網(wǎng)絡(luò)通訊故障缺乏有效防護(hù)手段和隔離措施,由于#3機(jī)組與#1、#2機(jī)組網(wǎng)絡(luò)相連接,在對#3機(jī)組更換網(wǎng)絡(luò)交換器不當(dāng)致使機(jī)組通訊網(wǎng)絡(luò)阻塞后,引發(fā)#1、#2機(jī)組通訊網(wǎng)絡(luò)阻塞,進(jìn)而導(dǎo)致兩臺機(jī)組保護(hù)跳閘。
【防范措施】
1、重視生產(chǎn)監(jiān)控系統(tǒng)廠商技術(shù)交底。要求機(jī)組監(jiān)控系統(tǒng)制造廠商對系統(tǒng)原理、網(wǎng)絡(luò)設(shè)計、通訊原理、設(shè)備配置等方面進(jìn)行詳細(xì)徹底的技術(shù)交底,做好相關(guān)技術(shù)培訓(xùn)。
2、提高機(jī)組監(jiān)控系統(tǒng)自主運(yùn)行維護(hù)能力,減少對制造廠商的依賴,使運(yùn)行管理人員逐步全面了解掌握機(jī)組運(yùn)行狀況。
3、增強(qiáng)電廠網(wǎng)絡(luò)與信息安全專業(yè)技術(shù)力量。對相關(guān)崗位維護(hù)人員進(jìn)行專業(yè)能力培訓(xùn)考核,增強(qiáng)其對網(wǎng)絡(luò)設(shè)備配置、系統(tǒng)網(wǎng)絡(luò)原理、網(wǎng)絡(luò)與信息安全等專業(yè)技術(shù)水平。
4、對機(jī)組生產(chǎn)監(jiān)控系統(tǒng)進(jìn)行排查,對國外電力生產(chǎn)監(jiān)控系統(tǒng)信息安全狀況開展專題研究,提出切實可行的風(fēng)險防控及安全防護(hù)措施,避免類似事件(事故)的發(fā)生。
5、強(qiáng)化電力二次系統(tǒng)安全防護(hù)和等級保護(hù)相關(guān)工作。按照電力二次系統(tǒng)安全防護(hù)規(guī)定及相關(guān)網(wǎng)絡(luò)安全管理要求,對監(jiān)控系統(tǒng)開展安全評估及等保測評工作,切實保證機(jī)組監(jiān)控網(wǎng)絡(luò)與信息系統(tǒng)的安全穩(wěn)定運(yùn)行。
6、加強(qiáng)網(wǎng)絡(luò)與信息安全管理。提高網(wǎng)絡(luò)與信息安全認(rèn)識,加強(qiáng)組織領(lǐng)導(dǎo),完善相關(guān)工作制度、流程,增強(qiáng)信息安全防范意識,派送技術(shù)人員參加相關(guān)信息安全培訓(xùn),切實提高網(wǎng)絡(luò)與信息安全管理水平。
7、完善網(wǎng)絡(luò)與信息安全應(yīng)急預(yù)案。規(guī)范編制應(yīng)急預(yù)案,并及時進(jìn)行應(yīng)急演練并對發(fā)現(xiàn)的問題進(jìn)行整改,提高網(wǎng)絡(luò)與信息安全應(yīng)急管理水平。
?