(一)成立信息故障应急领导小组(以下简称领导小组)
组长:王德钱军
副组长:康东王霞王凯宏高鹏程马维军
成员:王福正殷培琴张旭晖张锋王宝平闫莉刘建军王爱英
张俊瑕李璘卞正锋王雅丽
领导小组负责“医院信息系统故障应急预案”的实施和全院信息系统日常安全运行管理的组织协调及决策工作。
1.当各工作站发现计算机访问数据库速度迟缓、不能进入相应程序、不能保存数据、不能访问网络、应用程序非连续性工作时,要立即向信息科报告。
3.情况核实后,信息科及时给各工作站反馈故障信息,同时召集有关人员及时进行讨论,如果故障原因明确,可以立刻恢复的,应尽快采取措施恢复系统工作;如故障原因不明、情况严重、不能在短期内排除的,应立即报告领导小组。在网络不能运转的情况下由领导小组协调全院各部门工作,以保障全院医疗工作的正常运转。
1.根据故障发生的原因和性质不同分为三类:
(1)一类故障:由于服务器不能正常工作、光纤损坏、主服务器数据丢失、备份硬盘损坏、服务器工作不稳定、局部网络不通、价表目录被人删除或修改、重点终端故障、规律性的整体、局部软件和硬件发生故障等造成的全院性计算机网络瘫痪。
(3)三类故障:由于各终端操作不熟练或使用不当造成的错误。
2.故障分类等级的处理原则:
(1)一类故障:由信息部门负责人上报领导小组,由领导小组组织协调恢复工作。
(3)三类故障:由信息管理员单独解决,并详细登记维护情况。
(四)发生网络整体故障时的应急协调
30分钟内不能恢复——门诊挂号、住院登记、药房等部门转入手工操作。
24小时以上不能恢复——全院各种业务转入手工操作。
2.各部门的具体协调安排:
(2)门、急诊工作由门诊部主任负责联系协调。网络恢复后,门、急诊工作人员要及时将中断期间的患者信息输入到计算机。
①门诊收款员要建立手工发票使用登记本,对发票使用情况做详细登记;
②当系统恢复正常时,由收款员负责对网络运行稳定性进行监测,如不稳定,及时向信息科反馈情况;
③在接到信息科发出可使用计算机的通知时,应重新启动运行后,收款员逐步转入机器操作。
(4)住、出院业务办理的工作由财务科长总体负责联络协调;
②在网络停止运行期间,出院患者急需结算时,应由该科护士追查是否还有正在进行的检查项目,并向出院结算处提供详细费用情况后,方可送交结算。
③在网络停止运行期间,入院患者急需输入院手续时,实行手工输入院手续。系统恢复时补录病人所有资料。
(5)护士工作站由护理部主任负责总体联络协调:
①网络故障期间医护人员应手工详细记录患者的所有医嘱、护理记录和费用执行情况;详细填写每位患者的药品请领单(包括姓名、住院号、性别、药品名称及用量),一式两份,一份用于科室补录医嘱,另一份送药房作为领药凭证。
②接到信息科通知恢复网络运行时,按要求补录医嘱、护理记录和在本科发生的费用执行情况。
(6)医生工作站由各科室负责人负责总体联络协调:
①网络故障期间临床科室应手工详细记录患者的所有医嘱、病历记录,并详细记录治疗执行情况、病情进展情况。
②接到信息科通知恢复网络运行时,按要求补录各种记录。
(7)医技检查工作站由各医技科室负责人负责总体联络协调:
②网络恢复后根据检查单底联登记,通过手工补录患者在本科发生的费用(注意与临床科室联系沟通)。
(8)药房工作由药剂科科长负责总体联络协调:
②网络故障时,根据临床科室提供的药品请领单发药;
③网络恢复时对临床科补录的摆药医嘱进行确认,同时与发药时药品请领单内容详细核对,如发现内容不符,须详细追查;
④网络恢复后对出院带药处方及时进行确认。
(五)应急数据恢复工作规定
2.由信息部门负责人指定专人负责恢复,当人员变动时应有交接手续。
3.当光纤损坏时应立即使用备用光纤进行恢复;交换机出现故障时,应使用备用交换机。
4.对每次的恢复细节应做好详细记录。
(六)故障处理程序
1.信息科制定网络、服务器等故障应急处理程序
2.网络服务器故障一旦发生,信息科应设24小时专人值班,监控网络运行。发现问题,在及时处理的同时迅速向科室领导汇报。故障排除后,应完成故障报告,在技术讨论会上汇报。
3.遇到较大故障,信息科工作人员应迅速集合,集体攻关。具体分为3个组做以下工作:
②技术联络组:迅速与软、硬件供应商联系,采取有效手段获得技术支持。
③院内协调组:通知全院各科室故障情况,并到关键科室协助数据保存。
6.故障排除后2天内,信息科应组织技术研讨会,分析故障原因,制定预防措施,完成故障排除报告并上报领导小组。
(七)应急转入手工操作后各系统的应急计划
1.故障发生的风险等级划分:
根据可能产生的后果风险对医院的影响程度,量化评估如下:
影响级别
影响性质
评估标准
4
灾难性
造成全院系统崩溃、数据丢失等灾难性的影响。
3
严重
严重影响病人正常就医,造成病人或医务人员极大不便。
2
较严重
对医院正常工作和病人就医有一定影响,但损失不大。
1
可承受
受影响程度很小,可以接受。
2.各系统应急方案
(1)主服务器、主交换机
责任部门:信息科,风险等级:4级(灾难性)。
电源:UPS。
应急准备:定期检查UPS使用情况,保证供电正常。定期检查交换机。每日检查服务器、UPS运行使用情况。
应急计划:根据具体发生的情况,采取以下措施。
供电故障:临时外接电源,重新启动服务器。
主交换机故障:用普通交换机替代,保证关键业务。
30分钟内不能解决,门诊收费启用门诊挂号收费应急系统。白天1小时内、晚上6小时不能解决,上报应急领导小组,建议全院各部门启用应急方案。
(2)门诊挂号收费
责任部门:门诊收费处,风险等级:3级(较严重)。
应急准备:手工发票、复写纸、笔、算盘、计算器等记帐用品,检查化验收费价目表(配备单机版收费项目代码单价等数据字典备用)。
应急计划:手工划价记帐,待系统恢复后,补录计算机。
(3)门诊药房(中、西、急诊)
责任部门:门诊药房,风险等级:2级(严重)。
现状:收费后确认发药及退药确认。(配备单机版药品代码单价等数据字典备用)。
应急计划:手工划价,凭处方或发票发药,待系统恢复正常后,确认发药以减库存。
(4)药库(中、西)
责任部门:药库,风险等级:2级(严重)。
应急计划:先用手工记帐,做好领发签字手续,把药品分发至药房,保证药房的供应。待系统恢复,再行补录。
(5)门诊医生站
责任部门:门诊部,风险等级:3级(较严重)。
应急准备:手工处方、各类检查单、门诊日志表。
应急计划:手工处理。
(6)门诊叫号
责任部门:门诊护士,风险等级:2级(严重)。
应急计划:人工叫号。
(7)医技管理系统
责任部门:各医技部门,风险等级:2级(严重)。
应急准备:医技记帐单、各自医技项目单价表。
应急计划:手工登记、划价。
(8)LIS系统
责任部门:检验科,风险等级:3级(较严重)。
应急准备:化验收费价目价目表、手工化验,设备处报告单。
应急计划:手工登记,启用设备单机检验系统,待系统恢复后,再输入LIS系统。
(9)PACS
责任部门:功能科、放射科、影像中心,风险等级:3级(较严重)。
应急准备:设备登记、手工报告单。
系统瘫痪:手工出报告单。
(10)住院收费
责任部门:住院收费处,风险等级:2级(严重)。
应急准备:笔、预缴款收据。
应急计划:对于新入院病人,手工记录入院信息、联系方式等,手工办理入院手续,待系统恢复再补办。
(11)住院药房
责任部门:住院药房,风险等级:3级(较严重)。
应急准备:记帐单。
应急计划:先发药,再到住院处记帐或系统恢复后记帐。
(12)住院护士站
责任部门:住院护士,风险等级:3级(较严重)。
应急准备:执行单等。
(13)住院医生站
责任部门:住院医生,风险等级:3级(较严重)。
应急准备:医嘱单、化验单、手术单等。
应急计划:手工处理。开临时医嘱先取药。
(14)电子病历
责任部门:住院医生,风险等级:2级(严重)。
应急准备:病历纸等。
(15)手术、麻醉管理系统
责任部门:手术室、麻醉科,风险等级:2级(严重)。
3.应急预案的结束
(1)应急预案结束的前提条件:
①系统恢复正常,业务可正常办理。
②工作站完成应急业务补记账工作。在自助渠道关闭的前提下先开启工作站应用系统。
③所有挂失业务处理完毕,补账工作完成,账务核对无误。
(2)应急预案结束的指令发布:
(3)应急预案结束后的主要工作:
①业务支持工作组、技术支持工作组和安全及法律保障工作组继续监控事件解决后的运作情况,直至确定可持续正常运作为止。
②领导小组对本次故障进行全面总结。领导小组汇总应急工作开展情况,对本次突发事件的起因、造成的不良影响、资金损失以及应急工作本身等进行全面总结分析,并提出改进意见,督查改进情况,进一步优化应急流程。
③信息科负责备份应急数据至工作站,每半天一次同步。在应急业务结束后及时删除应急数据,防范风险。
二、分类预案
(一)各系统接口紧急预案
各业务系统接口出现故障时,会导致病人基本信息,检查、检验信息等无法正常提取,住院病人检查状态无法获取,检查费用无法正常记账,出现此类故障根据出现的频率分为以下几种。
1.单个接口临时故障:报告医院信息管理部门,重启接口服务,重启接口应用服务器。
4.网络引起的接口无法正常使用故障:手工登记、处理,事后同步。
(二)服务器应用系统故障应急预案
2.如果应用系统不能停机,立即启用热备份系统进行工作。
(1)如果应用系统不能停机,而故障又可以在10分钟之内排除,那么安全管理员指导系统管理员和应用管理员立即排除故障,恢复系统正常运行;
(2)应用系统可以停机而故障又可以在2小时内排除,安全管理员,应该断开服务器的网络连接,配合系统管理员和应用管理员,处理服务器故障,尽快排除故障,恢复系统运行;
(3)应用系统可以停机但故障排除不能在2小时之内完成,而应用系统有冷备份系统,安全管理员,应该断开服务器的网络连接,通知系统管理员和应用管理员启动冷备份系统,完成应用系统的安装、设置,并进行数据的恢复,保证系统正常运行。
3.备份管理员在应用系统出现故障时,应该及时查找本地的数据备份,本地的数据备份损坏或丢失,应该立即从异地数据备份复制应用系统的数据备份到本地。
(三)不良信息和网络病毒事件应急预案
1.发现不良信息或网络病毒时,系统管理员应立即断开网线,终止不良信息或网络病毒传播,并报告信息网络事件应急小组。
3.事态或后果严重的,信息网络事件应急小组应及时报告上级主管领导。
4.处置结束后,安全管理员和事发部门应将事发经过、造成影响、处置结果在调查工作结束后一日内书面报告信息网络事件应急小组主任。
5.应急预案技术措施,如果出现网络病毒,系统管理员采用瑞星杀毒软件或卡巴斯基杀毒软件和360木马查杀工具,对整个计算机进行杀毒。对不能确定是否为病毒的文件,应该询问安全管理员和应用程序员来确定。如果出现不良信息,安全管理、系统管理员程序管理员要设法找到不良信息的文件或不良信息存在数据库中的位置,对非法信息,进行手工删除,或编程删除,若不能清除,采用程序和数据备份进行恢复。
(四)软件系统故障应急预案
1.发生服务器软件系统故障后,安全管理员、系统管理员、应用管理员应立即对服务器进行查看,分析故障原因,采取并及时报告信息网络事件应急小组;同时安排将故障服务器脱离网络,保存系统状态不变,取出系统镜像备份磁盘,保持原始数据,按照系统恢复应急预案进行。
2.事态或后果严重的,报应急小组。
3.处置结束后,系统管理员应将事发经过、处置结果等在调查工作结束后一日内报告信息网络事件应急小组。
4.技术措施:安全管理员、系统管理员、应用管理员在故障发生后立即查看服务器系统状态,如果是系统软件出现故障,并且能进入系统,且可以清晰定位故障原因,并可以立即排除,那么立即进行排除。如果估计在3小时之内都不能定位故障原因,那么报告信息网络事件应急小组,请求系统软件厂商及技术支持协助排除,或根据技术支持的建议进行重新安装操作系统和应用系统。排除操作系统故障的方法,检查操作系统进程是否都正常,有无非法进程,操作系统文件有无损坏丢失,是否受到病毒和木马程序侵害,黑客攻击。如果不是操作系统故障,安全管理员应该只是应用管理员对应用系统进行检查,检查方法,查看应用系统代码和数据是否被破坏,损坏,丢失,如果丢失,从正确的备份进行恢复。
(五)终端应急预案
终端故障是指计算机、打印机终端设备出现问题,不能正常使用。终端故障分为以下几种情况:
1.计算机
软件故障:软件打开速度缓慢或无法正常打开、使用,电脑蓝屏;硬件故障:电源、主板、CPU、内存、硬盘等计算机组成硬件出现故障。
2.打印机
打印机卡纸、打印位置偏移、打印色彩不正常、打印机硬件故障。
当确定为终端故障时,信息员应根据故障情况,快速、准确做出反应:若故障原因明确,可以立刻恢复工作的,应立即恢复工作;如故障原因不明确、情况严重不能在短期内排除的,应立即报告院领导,在终端不能正常运转的情况下由办公室协调全院工作,以保障医疗工作的正常运转。
终端故障的主要解决办法:
(2)计算机硬件系统故障:如不能启动计算机,或启动后屏幕不显示画面,请及时与信息科联系,经信息员检测不能立即修复的,信息员应立即启用备用计算机对其进行更换。
(3)打印机系统故障:如打印机在工作中出现异常(打印头温度过高、打印头发出异响、进纸器卡纸、打印色彩不正常),操作员应立即关闭打印机电源,与信息科联系,经信息员检测不能修复,可采用备用打印机替换,计算机操作员不能带电拆解打印机与计算机外部器件。
信息科要及时对故障终端做相应的维修工作,已补充备用终端,如果不能维修的,及时联系售后人员。
(六)服务器硬件故障应急预案
1.发生服务器设备硬件故障后,安全管理员和系统管理员应及时报告信息网络事件应急小组,并组织查找、确定故障设备及故障原因,进行先期处置。
2.根据系统恢复应急预案,确定故障的服务器上的应用系统的应急恢复措施。
4.技术措施:初步判断硬件故障的方法,观察系统能否正常启动,记录启动时显示器屏幕上的提示信息,记录服务器状态指示灯状态,记录系统状态显示屏上的信息,安全管理员、系统管理员初步判断服务器硬件故障后,咨询硬件管理员、硬件厂商、技术支持确定硬件故障的具体原因和故障部件,并联系进行维修。
(七)业务数据损坏应急预案
1.发生业务数据损坏时,系统管理员和应用管理员应及时报告信息网络事件应急小组,检查、备份业务系统当前数据。
2.系统管理员负责调用备份服务器备份数据,若备份数据损坏,调用异地备份数据,应用管理员应配合系统管理员完成数据恢复工作。
(八)电源系统应急预案
定期检查机房供电设备的运行状况和电路线缆器材情况,当发生下列突发事件时,按照以下方案处置:
5.恢复供电后,严格按照操作程序逐步恢复机房设备和UPS的供电,以防瞬间电流过大造成设备损坏。
(九)网络和服务器系统应急预案
1.发生网络故障时,首先检查机房设备(交换机或防火墙)情况,确定网络故障的原因
2.确认原因后,首先要启动备用线路和设备,保证网络的正常运行,然后再联系外协公司,及时处理和排除故障。
处置结束后,技术人员应将处理过程记录下来,以便日后对此问题的处理和持续改进。
(十)中心机房空调系统应急预案
定期对空调的运行情况进行检查,如有报警信息,应及时查找故障原因,对于不能自行排除的问题,应及时与外协公司进行联系解决。
1.当中心机房主空调因故障无法制冷,应立即开启备用空调降温;
2.如备用空调不能满足机房内温度要求,威胁到主要业务的应用服务器的情况下,值班人员应按照业务重要性优先等级次序,逐步关闭无关设备或非重要设备。
3.如备用空调不能正常启动,致使机房内环境温度超过摄氏40度时,应按顺序关闭服务器设备(具体操作参照电源系统应急预案)。
(十一)机房发生意外火灾预案
1.一旦机房发生火灾,应遵照下列原则:首先保人员安全;其次保关键设备、数据安全;三是保一般设备安全。
3.当发现机房有火灾发生,且火势未起时,可以酌情利用现场的灭火器进行灭火。
4.如果火势已起,人员应立即离开发生火灾的机房,并关闭发生火灾的机房大门。启动七氟丙烷气体进行灭火。
启动方式有如下两种方式:
(1)拿出启停按钮钥匙,开启发生火灾机房门口的气体启动按钮,30秒延时后,相应机房的七氟丙烷气体喷射进行灭火;
(2)到气体灭火控制盘处,按下标有发生火灾机房标志的红色气体启动按钮,此按钮无延时,相应机房的七氟丙烷气体立即喷射进行灭火。
5.释放气体进行灭火时人员应远离现场以免发生意外。
6.发生火灾气体喷洒结束后,机房内底部留有残余气体,此时按下自动报警主机手动按钮标有排烟阀的按钮,报警主机上显示排烟阀打开,接着在配电柜送上排烟机电源,人员离开即可。
7.气体系统设备的日常维护:应定期对七氟丙烷气体灭火钢瓶气密性进行检查,检查方法是观察钢瓶上的压力表指数是否在规定正常的范围内,如果已低于正常范围,即通知外协公司对钢瓶进行充装维修。