应急演练评估指南(公共安全应急管理指南丛书)(txt+pdf+epub+mobi电子书下载)


发布时间:2021-02-20 11:20:31

点击下载

作者:李雪峰 主编

出版社:中国人民大学出版社

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

应急演练评估指南(公共安全应急管理指南丛书)

应急演练评估指南(公共安全应急管理指南丛书)试读:

前言

应急演练是突发事件应对工作的重要组成部分,已经成为各级应急管理部门、应急救援队伍、基层社区的常规性工作。但是,目前我国应急演练的总体水平仍不够理想,具体表现为:演练模式上,展示型演练多、训练型演练少;演练方式上,随意性成分高、规范性程度低;演练质量上,粗糙的演练多、精致的演练少;演练效果上,走过场的多、认真总结的少。为了给各地切实提升应急演练水平提供必要的工具,本丛书从四个层面介绍科学的演练理念、规范的演练方法、实用的演练工具、可信的演练案例。

本丛书共包括四册:

第一册:《应急演练规划指南》;

第二册:《应急演练准备指南》;

第三册:《应急演练实施指南》;

第四册:《应急演练评估指南》。

本书是第四册:《应急演练评估指南》,旨在为应急演练评估工作提供操作性指导。

应急演练评估包括从评估到改进的演练评估工作全过程。本书分四章介绍其内容:

第一章介绍相关概念与原则;

第二章介绍典型的应急演练评估方法;

第三章介绍有关的工作表单;

第四章介绍有关实例。

作为推荐性指南,这里介绍的方法并不是要给实践者“立法”或居高临下式的“指导”,而是提供一种值得信赖的、可供参考的方法。第一章 应急演练评估基础知识第一节 应急演练评估的概念与意义

一、应急演练评估的含义

应急演练评估主要是对照应急管理能力的要求与应急演练的目标,根据参演者完成关键任务的表现进行评估并提出改进建议。它是通过应急演练实现参演单位与参演者改进应急管理流程、提高应急能力和水平、实现应急演练目的的重要环节。所有应急演练活动都应进行演练评估。

应急演练评估是应急演练的重要环节,是对演练活动进行评判、对改进工作提出建议的过程。全面的应急演练评估过程是演练组织者和评估者等,在认真准备的基础上,细致观察演练行为、分析演练记录及相关资料,通过对比参演者表现与演练目标要求,对演练活动及其组织过程进行反思和分析,做出客观评价,并撰写应急演练评估报告的过程。它既是全面、系统了解演练情况,客观评价应急演练的重要过程,也是进一步加强和改进突发事件应对工作,提高应急能力和水平的起点。

二、应急演练评估的主要特点

应急演练评估具有以下主要特点:

第一,以演练目标为依据。由于应急演练评估是观察、体验和记录演练过程,比较演练实际效果与目标要求之间的差异,总结演练成效和不足的过程,所以应急演练评估应以演练目标为基础,针对每一项演练目标都要设计合理的评估项目方法和标准。

第二,以反思为根本。演练的评估过程就是对演练过程进行反思的过程,反思演练过程中哪些方面做得好,哪些方面还可以做得更好,总结各方面的经验、教训,提出今后在工作中改进的措施。

第三,程度可深可浅。规模和复杂程度不同的演练对评估的要求不同。对于形式、内容简单的演练,其评估可能只需要组织者的简要点评;而对于形式、内容复杂的演练,其评估就需要有一系列规范的评估动作。

三、应急演练评估的意义

应急演练评估的根本意义在于帮助演练的参演者和组织者提升相关工作的能力。

对于参演者:通过发现演练过程中存在的问题,触发对改进工作和自我发展的有效反思,促使参演者产生准确的实际行动需求,从而逐渐积累应急处置经验,提高解决实际问题的能力。

对于演练组织者:反思演练组织过程中存在的问题、可改进的方面,不断完善应急演练的流程与方法,提高应急演练的实用性和适用性,提升其应急演练组织能力。第二节 应急演练评估的原理与内容

一、应急演练评估原理

完整的应急演练评估是一个从获取事实到评价事实,再到提出建议的全过程。其基本环节是观察、判断、分析、建议。

具体来说,评价工作首先是对演练过程进行观察,之后对观察到的情况作出基本判断,在判断的基础上作出分析,分析之后得出改进建议,并把这些建议反馈给参演者和组织者,促使其进行改进。这样就完成了一个完整的评估过程。(一)观察

演练内容很多,在观察之前需要确定以下几个问题:

一是选择观察的视角。观察的视角包括整个演练的视角、某个应急功能的视角、某个重要角色的视角等。要通过合理分工使各个重要视角都得到关照。

二是选择观察的重点。要确定主要着重、着眼于哪些方面来观察。

三是确定用什么样的标准来观察。评估员要就观察的标准达成一致。

如果演练观察点非常多、观察内容非常多、项目非常多,要对不同的观察员进行分工。

观察过程中不要带有偏见或成见,要力争完全客观地去观察,否则会影响观察的结果,使观察偏离方向。影响有效观察的因素如表1-1所示。表1-1影响有效观察的因素

在观察中,评估员不要参与到演练中去。评估员要记住,自己只是在后台,其工作只是做观察。

在整个演练过程中评估员都不要与参演者交谈,特别是不要与主要参演者交流,不能影响和干涉整个演练的进程。

对观察内容要进行记录。对看到的和听到的内容,进行简要、清楚的记录。(二)判断

判断是指在对演练过程进行观察并把观察到的内容做记录的基础上,对观察到的行为所表现出的水准进行评判的过程。

评判是就整个处置结果的好与坏进行评价。实际上是评估员依据自己的理解,或者说从他自己的实战经验出发对观察到的情况进行评价。(三)分析

分析是对演练中的行为与问题原因进行剖析的过程。在分析过程中,需要思考:这些内容意味着什么?它对于演练本身意味着什么?将来对实际应急处置工作来讲意味着什么?对于参演指挥部下达的命令,在实际工作当中是什么样的后果或结果,要靠已有的经验来分析。

对于出现的问题,要深入分析问题背后的原因,以及原因的原因。(四)建议

在演练之后,评估员要对参演人员和演练组织方提出改进工作的建议。

用什么样的方式、方法给参演者提出建议,向参演者讲解他们在演练过程中的不足和需改进的地方,由演练组织方决定。可以是评估员与参演者共同探讨,启发参演者自己谈整个演练过程的感受、经验与教训,也可以从头到尾由评估员讲评,还可以写成评估报告反馈给参演者。

提建议的目的是促进相关方在日后实际工作中有所改进与提高,因此不能提那些脱离实际的建议。

二、应急演练评估任务

在应急演练的不同阶段,评估工作有不同的任务目标。主要的评估任务应包括表1-2中所列的内容。表1-2应急演练评估的任务

表1-2列举的这些任务是规范和完整的演练评估的主要任务,并非所有演练评估都要完成。全面具体的演练评估工作包括8个步骤的一系列工作(具体见本章最后一节和下一章)。

三、对演练活动的评估

对演练活动的评估是演练评估的主要任务,必须落实到位。(一)演练活动评估的作用

对演练活动的评估能够起到一系列积极的作用,具体包括:

●增强参演者对突发事件应急处置工作重要性的认识;

●发现并修正应急管理工作中的缺陷和不足;

●提高参演者的应急管理能力和水平;

●促使参演单位建立和完善突发事件应急体系。(二)演练活动评估的内容

评估演练活动需要在演练目标指导下,针对演练过程中参演者的行为表现与行动效果来进行。其内容既要对参演者个体表现进行评估,也要对参演者集体表现进行评估。从不同的角度可以设置不同的评估内容。例如,对于成建制指挥部的演练来说,可从形势研判、决策制定、信息管理、协调联动、危机沟通等方面设计评估内容。

四、对演练组织活动的评估

演练评估的核心是对参演者演练活动的评估。此外,为了今后更好地开展演练工作,从改进演练工作的角度,也可以对演练组织活动进行评估。(一)演练组织活动评估的作用

应急演练组织活动评估主要有以下作用:

●提出演练组织的改进思路;

●系统修订有关演练准备的资料;

●完善演练组织的流程与操作程序;

●实现演练组织者的自我反思与提高。(二)演练组织活动评估的内容

对演练组织活动的评估,同样要建立在演练目标的基础上。针对是否实现演练目标,可从演练组织准备、演练组织活动、演练组织效果等方面设置不同的评估内容。第三节 应急演练评估的时长与方式

一、应急演练评估的时长

时间过短,评估易草率、马虎,无法很好地完成各项评估任务;时间过长,则易拖沓,无效率。如果是简单的、时长只有半天的研讨式或递进式桌面演练,其评估可能只占其中的半小时到一小时;如果是复杂的演练,其评估可以在一周到一个月内完成。

二、应急演练评估的方式

应急演练的目的、形式、持续时间等不同,评估的方式必然有所不同。根据应急演练的要求,评估可以采用一种方式,也可多种方式兼而用之。(一)参演者自我评估

参演者自我评估主要是通过参演指挥部的自我反思来完成。在评估环节,各位参演者可对自己以及整个指挥部在演练中的表现进行反思,也可以谈对整个演练过程的感受和经验。通过讨论将本次演练过程中发挥好的方面、需要改进的方面、可以采取的改进措施进行汇总,然后提交演练组织方。(二)演练组织者评估

参演者自我评估结束后,演练组织者(催化师和导调员)要进行总体评估,对参演者没有涉及的演练表现中的优缺点、应急演练过程中存在的问题等进行补充,提出改进的建议。在演练之后,参演者往往非常希望从演练组织者那里听到有价值的反馈信息,因此演练组织者应特别注意做好演练后的点评。

演练组织者评估可以从政策高度和理论高度对应急演练进行点评,也可以就演练中的主要问题进行点评。演练组织者的评估要建立在对整个演练过程进行充分细致的观察的基础上。评估时应注重如下要点:(1)尽可能发动参演者进行自我评估。参加演练的参演者一般都是各个层面、各个地区、各个部门的实践者,有丰富的实践经验。演练组织者要更多地询问他们的意见,尊重他们。所以,如果时间允许,演练组织者的点评应在参演者自我反思和参演者、评估员代表发言之后。在评估发言前,演练组织者最好再次询问参演者,是否又注意到或者发现了一些新问题和建议,从中受到一定的启发。发言主要是对前面发言中没有提出或强调的内容进行补充。(2)不同的演练组织者可发挥各自的专长,从不同角度予以点评,相互补充,力求点评得全面、详细、到位。(3)演练组织者要注意对参演者的行为进行深入的评估,与对演练结果的点评相比,参演者的行为更值得分析评价。(4)演练组织者要注意把握评估现场的总体氛围。演练的目的是让参演者将来有信心和能力来应对类似的突发事件,所以演练组织者要注意以鼓励的态度来进行评估,不宜过多指出参演者的错误和问题,而应指出在哪些地方还有可以继续改进和提高的潜力和空间。评估是为了提高,不是问责,要使参演者在严肃而友好的积极氛围中接受评估。(5)对于演练组织方面的问题,演练组织者可以采取自我评估的方式进行反思和评估,也要广泛收集参演者的反馈意见。(三)评估员评估

评估员评估通常是评估组依据事前制定的评估工作方案或评估表,在演练过程中进行观察和自我评判,在演练后经过集体讨论,提出评估组评估意见。评估表的部分内容需要评估员在演练现场根据实际情况短时间内完成填写;部分内容需要演练后进行统计分析或综合分析后填写。由于评估员在演练过程中专注于观察演练、分析演练,他们的评价意见和建议,尤其是所提交的评估报告,具有独特的价值。

三、评估员与参演者互动

为了更好地评估演练效果,评估员与参演者互动是必不可少的评估环节。由于参演人员亲身经历整个演练过程,一些评估员没有留意的演练细节他们却能发现,但是参演者缺乏应急演练的评估经验,不一定能够意识到问题所在和哪些是需要评估的内容,所以需要评估员加以引导。评估员可在演练结束后向参演者统一发放反馈表,由参演者填写后交给评估员评阅;也可以向参演者发放评估问卷;还可以采用访谈的形式,对参演者提出一系列事先准备好的问题,如“你是否知道训练的演练目标和要求”“你觉得实际演练是否达到了演练方案的目标和要求”“你觉得场景是否真实”“你觉得现场的指挥人员是否指挥得当”等,帮助参演者表达对演练的意见和建议,交谈结束后,评估员对交谈的内容进行整理,并结合现场记录内容一同汇总,以便做进一步的总结和分析。第四节 应急演练评估流程

根据演练的复杂程度、目的、目标等,应急演练评估的流程也不尽相同,这里介绍简要的现场评估流程和全面的评估流程两种典型情况,而具体的演练可以根据需要选择相关的工作内容。

一、简要的现场评估流程

如果演练时间较短、演练方式较为基础,如研讨式桌面演练,其评估环节就可以结构简单,用时较短。即便如此,其评估环节仍然很重要,目的在于总结经验和收获,通过发现演练过程中存在的问题,触发对改进工作和自我发展的有效反思,从而产生准确的实际行动需求。

评估环节需要完成的工作可包括演练活动评估和获得工作改进清单两个部分。演练后还可以进行对演练组织活动的评估。整个评估环节要保证一定的时长。为期半天的演练,其评估的时长一般为1小时左右。(一)演练活动评估

演练活动评估通常包括参演者自我评估和演练组织评估两大环节。有的演练设评估员,因而也有评估员评估。(二)获得工作改进清单

演练虽然结束,但演练的目的还没有完全实现。参演者在培训结束时,还要趁热打铁,总结出工作改进清单。

所谓工作改进清单,就是在演练结束前,由参演者结合自己的本职工作对这次演练活动进行及时反思,从而发现当前工作中存在的问题,并结合本次演练的经验,为今后的工作改进提出具体措施。其基本内容包括:时间,演练项目,演练过程中的优点、不足及在今后工作中需要改进的地方。它是提高应急演练组织的针对性和实效性的一个重要方式,也是提高参演者和参演单位应急管理能力的关键环节,能够最直接、快捷地将演练与实际工作结合起来,获得改进工作的具体措施。其目的是有效推进本地区应急工作的开展。

通常情况下,在演练开始前就告诉参演者,演练结束之后需要做一份工作改进清单,提示他们在演练中关注相关的问题。

工作改进清单无须太长,列出要点即可。清单的内容主要包括演练过程中的优点、不足及在今后工作中需要改进的地方。表1-3是一个改进清单的示例。表1-3××市(或××区/县)应急演练改进清单(三)对演练组织活动的评估

如有时间,可以对演练的组织活动开展评估。

评估可以通过以下三种方式来进行:

一是演练评估结束后进行全体讨论,请参演者对这次演练活动进行口头评估;

二是在演练结束后请参演者填写评估表;

三是在演练结束后,邀请参演者代表召开座谈会进行口头评估。

二、全面的应急演练评估流程

全面的应急演练评估流程一般分为以下8个步骤(见表1-4)。

步骤一:演练评估准备。这是演练前对评估工作进行计划、准备的过程。

步骤二:观察收集数据。这是在演练进行过程中对参演者行为进行观察和记录的过程。

步骤三:汇总分析数据。这是对各观察员的观察成果进行汇总分析的过程。

步骤四:起草评估报告。这是起草评估报告初稿的过程。

步骤五:召开评估会议。这是召集有关参与方听取评估组的初步评估结果,确认评估结论,并进而提出改进建议的过程。

步骤六:研究改进措施。这是评估组研究并提出可行的改进工作措施的过程。

步骤七:完成评估报告。这是最终完成并提交评估报告的过程。

步骤八:跟踪督促改进。这是针对评估报告提出的改进计划,进行跟踪检查的过程。这一环节可能不是演练评估组的职责。表1-4演练评估的8个步骤

应注意,这里的流程与第二节提出的演练评估任务的表述不同,但内容是一致的。评估任务描述了12项主要任务,而这里的8个步骤的流程是指可以采用的可操作性步骤,其中包含了这些具体任务。第二章 应急演练评估基本方法第一节 演练评估准备

演练评估准备工作包括:制定评估方案;组建评估组,确定评估组组长、评估组成员,招募、培训和分配评估员,明确对评估小组的要求;开发评估员手册、应急演练评估表等评估文件;开预备会等。它是广义的演练计划和准备过程的一个组成部分,也是确保应急演练评估顺利完成的第一步。

一、制定评估方案

为提高应急演练的工作质量,应编制应急演练评估方案,为应急演练评估工作确立连贯的行动程序和指南。

制定应急演练评估方案之前,应做好应急演练评估的需求分析,初步确定评估工作的内容、程序、拟采取的方法以及为了有效观察演练所需要的工具、主要技术和人员等。应急演练评估需求分析应依据演练计划、演练方案等文件进行。

评估方案应以演练方案为主要依据,由预定的评估组组长负责组织制定。评估方案也是编制评估手册的重要依据,通常评估方案的内容也是评估手册的主要内容。

应急演练评估方案通常包括以下要素:(1)演练信息:应急演练目的和目标、情景描述,应急行动与应对措施简介等。(2)评估内容:依据演练目标,通常包括应急演练的指挥、决策和执行,信息沟通与媒体应对,以及演练组织行为等方面内容。(3)评估标准:应依据我国突发事件处置相关法律法规、国内外处置突发事件的标准流程和工作程序、应急预案确定的要素和措施以及具体的演练方案建立评估标准。评估标准要具有科学性、可操作性、目的性和指导性。(4)评估程序:为保证评估结果的准确性,针对评估过程做出的程序性规定。(5)评估员:确定评估员组织结构与职责,明确评估员位置。评估员负责制定评估工作方案。(6)附件:应急演练评估要用到的相关表格及相关工具、联络方式等。

二、组织人员

主要是组建评估组,确立评估组组长与评估员,明确各自的工作任务与责任,并征召、培训、分配评估员。这是为评估工作提供组织与人员保障。(一)评估组

为了对演练进行更好的评估,应急演练要组建评估组。评估组负责设计应急演练评估计划,观察并记录演练情况,编写应急演练评估报告等。应急演练评估组可由上级部门组织,也可由演练组织者自行设置,还可邀请第三方专家或机构负责组织。评估组设组长1人,成员若干人。一般情况下,每3~4名参演者至少安排1名评估员。针对规模较大和参演者较多或多地点的演练,可设多个评估小组,评估组长可下设评估小组组长。评估组的组织结构图如图2-1所示。图2-1 评估组的组织结构图

1.根据演练的范围确定评估组结构

一个评估组的大小规模主要由以下几个因素确定:第一,演练的类型;第二,演练的目的;第三,演练的规模和复杂性。

在小规模的演练中,由于参与的组织和人数少,需要展示的目标和观察的位置数量有限,评估组的规模可以较小,包括1个评估组组长和一定数量的评估员即可,评估员直接向评估组长汇报。但在规模较大的演练中,参与的组织和人数多,需要展示的目标多,通常会需要一个规模较大的评估队伍,需要设置评估队伍负责人和多名评估小组组长。由评估队伍的负责人指导评估组组长和评估员完成应急演练评估任务。只有拥有足够规模的评估组,才能对演练目标的实现情况、参演组织和个人的表现做出全面评估。

2.确定所需的工具和文件

评估工具包括用于记录的笔记本电脑、录音笔、摄像机,便于沟通和联系的通信设备(电话、对讲机等)。评估文件包括应急演练评估表、评估员手册、演练手册等。(二)评估组组长

评估组组长是演练评估工作的关键角色。首先,评估组组长应该是应急管理评估专家,熟悉应急预案、政策、程序和目标,熟悉突发事件指挥系统以及应急决策制定过程,熟知与演练相关的部门间的沟通协调方式方法。其次,评估组组长要具备管理能力,既能督查评估员在应急演练评估中的表现,又能掌控整个评估过程。最后,评估组组长要具备一定的分析技能,能够对演练目标进行充分而精确的分析。其职责是:(1)组建和管理评估小组;(2)对评估小组成员进行培训;(3)领导和组织应急演练评估工作。(三)评估员

评估员是评估组成员,可来自演练组织内部或外部。如果是带有考核性质的应急演练评估工作,与演练组织单位或参演者有直接利害关系的人员不宜参加应急演练评估工作。参演地区领导也可以评估员的身份对应急演练过程进行评估。

1.评估员的基本要求(1)经过专门的应急演练评估培训,熟悉应急演练评估方式和方法,具有相关专业知识;(2)熟悉国家有关应急管理的方针、政策和法律、法规,掌握国家应急响应标准和相关规定要求,具有突发事件的应急处置经验;(3)具有敏锐的洞察力,并有诚实、客观、公正和专注的工作态度;(4)了解应急演练活动的实施过程并熟悉演练活动文件的内容;(5)服从评估工作安排并能够对本人的评估结论负责。

2.评估员的职责与任务

总的来讲,评估员的职责主要包括:第一,要理解演练的概念和熟悉场景;第二,要收集信息;第三,要观察参演者的讨论、决策与行动;第四,要参加热反馈和事后评估会议;第五,要分析演练行动,撰写演练后的评估报告。在演练的不同阶段,评估员的任务是不同的。(1)演练前的任务。

●学习相关的应急政策、预案和程序;

●审核应急演练评估表(评估指南)和评估员手册;

●审核并熟悉演练场景、目标以及有关资料;

●熟悉应急演练评估表和与自己的职责相关的其他材料;

●参加演练前的指导和培训;

●参加演练评估员情况介绍会。(2)演练期间的任务。

●对照有关预案、政策、程序和实践来监测、记录参演者的表现;

●使用应急演练评估表确认演练目标是否实现;

●重点记录应急演练评估表和演练计划所规定的关键任务;

●参加热反馈会议。(3)演练后的任务。

●协助评估组组长统计分析评估数据;

●使用数据,确认演练的目标和计划是否得到有效实现;

●使用数据,总结归纳出演练中的成功之处和待改进之处,找寻根本原因,并提出改正建议和措施;

●根据统计分析结果和演练结束后的总结会内容、参演者反馈表等,撰写评估总结报告。

3.评估员的评估技巧

评估员的经验和专业知识是其进行评估最重要的工具。富有经验的评估员通常使用下列技巧来进行有效评估:

●使用应急演练评估表来确认演练目标是否得以实现;

●对观察到的重要行动(包括行动时间)进行详细记录;

●如果某一领域指派了多名评估员,则需要合理分工,以确保参演者的活动都能够得到详细记录和评估,没有遗漏;

●靠近参演者中的决策者;

●重点放在关键活动上。(四)招募、分配和培训评估员

选定评估组组长以后,就需要招募、分配和培训评估员,由评估组组长或评估工作负责人负责此项工作。主要工作为:决定需要招募评估员的数量;确定评估员必须拥有的专业能力;对评估员在演练中的角色、位置等进行分配;确定演练前评估员必须接受的培训和指导。

1.评估员的招募

招募评估员时需要确定:评估员的数量和类型、评估员需要具备的技能的类型和评估员应具备的特质。原则上,招募的评估员应该主要由突发事件管理机构人员、应急处置机构的人员、国家或者地方相关机构的人员、具有应急管理经验的专家或教师等担任。被招募的评估员应该具备相关观察领域的工作经验和专门的技能。例如:指挥和控制、消防、紧急医疗救助、卫生防疫等领域的评估员都要有相应专业能力。

经常组织演练的单位应该考虑做一个长期规划,建立和发展一支受过训练的评估员队伍,这支队伍中的评估员可以根据需要参加应急演练评估。

2.评估员的分配

应该根据评估员具有的专长、技能和经验将其分配到不同的演练功能领域。例如:当演练中涉及动物疫情时,具有畜牧防疫技能的农业专家就可以作为评估员分配到这个区域,这样他们可以准确观察参演者随着灾情发展所采取的防治措施;当演练涉及危险化学品的处置时,拥有危险材料专业知识的评估员可分配到这个区域,这样他们就能够观察排除污染的处置情况和个人保护装备的使用情况。评估员的分配方案应该在演练之前完成,并传达给每一位评估员。如果应急演练的观察点很多、观察内容很多、项目很多,就需要对不同的评估员进行合理分工。分配到每一个演练功能组的评估员的数量主要由将要被评估的目标数量、所要完成的任务数量等决定。

3.评估员的培训

由于评估员将评估参演者的表现以及演练的整个流程,需要了解演练的规模、目标、评估标准,熟悉应急预案和实施程序,所以在演练前,评估员应接受培训。通过培训,确保评估员了解要收集的关键数据,以及如何使用数据促进评估。这将有助于他们仔细观察和准确记录演练者的行动,为其履行职责做好充分准备。评估员在每次演练前都要接受培训;培训必须至少在演练开始的前一天进行,必须涉及演练的所有方面,每个评估员都需要参加培训。具体来说,培训应包括以下内容:

●评估员应该了解和熟知的事项:在参加应急演练评估前,评估员应该熟知演练的目的、目标、日程、范围和限制,演练的场景描述、时间次序和场景信息清单,参演者的基本情况和组织结构,演练组织者和参演者的互动方式,评估员的角色及职责分工,评估的标准和程序,应急演练评估表和《评估员手册》的使用方法,有关表格的填写方法,数据分析方法,等等。

●评估员应该掌握的观察技巧:观察什么——评估员在演练展开时应如何捕捉参演者的讨论、决定、行动信息。记录什么——对演练中发生的重要问题如何做好准确的记录,比如,启动应急响应的时间,参演者的表现,关键决定,偏离政策、计划和程序的情况,重大行动的时间等。

●评估员应该避免的错误:明确告知评估员在演练中容易犯的错误,以避免在演练中出现类似情况,对评估员起到提示和警示的作用。这些错误表现为:一是只关注小组或组织机构的领导者;二是干预演练的讨论或行动;三是由于“疲劳”或负责心不够,脱离评估岗位;四是有些评估员对所有行动都给予积极评价,过于宽容;五是把所有活动都评为中等,不愿作出任何选择决定,出现过于“中庸”的错误;六是因过去对某个人或某个行动的印象,影响到评估员评估时对这个人或这个行动的评价;七是不管参演者表现如何,自己的工作就是挑错,过于挑剔;八是以自己不够客观的态度、看法而影响其他评估员的观点;九是对演练某些方面的理解、预期或偏好影响了自己作出客观评判。(五)对评估员的时间要求(1)评估员需要有时间参加演练前培训、演练中的实施、演练后的热反馈、演练总结会、事后研讨会等。(2)评估员要按演练计划和时间表规定的时间至少提前30分钟到演练地点报到。到达时要签到。

三、开发文件:编写评估员手册

应急演练评估需要开发的文件有多种,主要包括评估员手册、评估表(评估指南)、参演人员反馈表等。

评估员手册是帮助应急演练评估员充分了解自己在演练实施和评估中要发挥的作用和职责的演练资料包。其核心内容包括:(1)演练文件,包括应急演练背景情况、初始场景等;(2)相关的预案和规范文件,包括突发事件应急预案、标准化操作程序等;(3)评估材料,包括指挥部职责、组织结构图、任务分配表、参演者座次表等;(4)应急演练评估表;(5)活动安排表,包括时间表等。

四、开发文件:设计评估表

应急演练评估表为评估员提供了在演练过程中观察、收集数据和捕捉表现结果的统一的标准化工具,能够为应急演练评估提供指导方针和标准流程,还能为收集数据提供记录的空间,是评估员观察演练的指南(因此也被称为“演练评估指南”),也是每个评估员的参考资料。简单桌面演练的评估表会较为简单,而对于复杂的演练,评估表会很详细。评估表主要提供给每位应急演练评估员使用,每位评估员都需要有与各自任务区相应的评估表。应急演练评估主要针对应急演练评估表所列的演练目标与关键任务执行情况进行评估。

应急演练需要设计个性化的评估表,可以根据具体演练的预案、政策和程序要求制定专门表格,但必须以演练目标为指导,既要有是否达到某项要求的判断,也要有对参演者行为的描述性记录。(一)评估表的功能

●为评估员提供了预期参演者将可能表现的行为的细节,简化了数据收集程序,使评估员能更好地为演练作准备。

●帮助评估员始终针对与特定的核心能力相关的演练目标进行评估,并确定演练的目标是否实现。

●给予评估员具体指导,包括在演练过程中收集哪些数据,如何记录数据,如何分析数据,有助于评估员记录演练活动。

●用于演练之后的数据分析和热反馈、评估员总结会、评估报告研讨会。

●呈现经评估的结果,便于在评估报告中提出可付诸实施的改进建议,为评估报告的撰写提供支持。

●使评估员能够审查演练计划要素内容的可行性、可靠性。

演练结束时,把所有填写过的应急演练评估表和任何支持性记录递交给评估组组长。(二)评估表的内容

完整的应急演练评估表(评估指南)的内容可能包括演练目标,演练场景概述,演练场景信息清单,参演者及其位置;评估员组织结构与职责,评估员位置,评估方法,评估项目(内容),评价标准,相关记录项,与应急演练评估相关的问题、工具和通信方式等。

应急演练评估表是为具体的组织机构开发的,不能转用于任何其他机构。由于每个辖区、组织机构或实体有独特的和各不相同的目标和关键任务需要检验和/或验证,所以每个机构都需要撰写专门针对自己的预案、程序和政策的应急演练评估表。(三)评估表的要求

因为评估员将使用评估表来找出演练中的优缺点以及如何针对有关目标做出改进,评估表的设计是否全面、合理、科学,关系着评估质量的好坏,所以评估表在设计时要注意:

●根据演练目标来设计评估点;

●评估点能够确定是否成功实现了有关目标;

●一般不超过20个评估点,但复杂的应急演练评估点会多一些;

●不要设计评估员无法回答的问题;

●问题要简单,避免烦琐;

●对每个目标、每种能力或每一个评估对象通常单独使用一张表格。(四)评估表的类型

评估表分为针对应急演练活动的观察评估表和针对演练组织的演练组织活动评估表两类。

根据参演者所演练的不同的能力和活动,演练活动的观察评估表又可分为不同的类型,如评估指挥决策评估表、组织协调评估表、信息管理评估表、媒体沟通评估表等。当然根据需要和评估实际情况也可以合为一个总的评估表。使用何种类型的评估表主要取决于演练的目标要求。(五)评估表的评价等级

根据应急演练目标的不同,可以采用选择项法、定性分析法(主观分析法)、定量评分法等多种等级评价方法进行评估。

第一种:选择项法。

为了保证评估内容最终结论的客观性,尽量避免评估过程中评估员主观判断自由度过大,可以在评估时采用“是否”“能否”等较为客观的选择判断标准来确定评估结果。选择项法的演练评估表、演练组织评估表如表2-1、表2-2所示。表2-1演练评估表示例(选择项法)表2-2演练组织评估表示例(选择项法)

第二种:定性评价法。

也叫主观评价法,主要是从评估的目标和原则出发,考虑评估指标的充分性、可行性、稳定性、必要性以及指标与评估方法的协同性等因素,主观确定评估内容及评估结果的过程。常常使用“优、良、中、差”“满意、不满意”等标准对评估内容进行评价。定性评价法的演练组织评估表如表2-3所示。表2-3演练组织评估表示例(定性评价法)

第三种:定量评分法。

为便于应急演练评估操作,可采用十分制或五分制来评分。定量评分法的演练组织评估表如表2-4所示。表2-4演练组织评估表示例(定量评分法)

一般情况下,应急演练结束后,评估组会对评估表进行定量统计分析,与所有参演者在现场热反馈中对演练过程中的优劣之处所进行的反思结合起来,实现评估意见和定量分析相结合,共同为撰写评估报告与提出改进措施提供依据。

此外,有条件时,还可以采用专业评估软件等工具。(六)评估表的开发

评估表的编制有多种思路,这里介绍一种以“能力—目标—任务”为核心的评估表开发思路。

1.术语解释

应急演练评估表的结构是为了便于捕捉与演练组织者提出的评估要求相关的信息。每个应急演练评估表都有以下评估要求:

●核心能力:是实现特定的任务领域需要的各个关键能力要素。例如“危机沟通能力”就是一种核心能力。为了评估能力和差距,每项核心能力应包括若干能力目标。

●能力目标:是每项核心能力表现的范围,表明参演者力图实现的准确的能力指标,是核心能力的具体表现。例如,“危机沟通能力”的具体能力目标就可能包括“成功地组织一场新闻发布会”“有效应对谣言”“成功地策划和组织一次媒体专访”等。能力目标一般使用定量或定性的书面表述。

●关键任务:是完成一项能力目标要求的各个要素,说明能力目标将如何实现。例如,“成功地组织一场新闻发布会”的关键任务就包括“策划发布会”“准备发布会”“实施发布会”等。关键任务一般包括完成能力目标要求的活动、资源和责任。能力目标和关键任务要根据演练的相关预案、政策和程序确定。

●表现评级:是表现相对于目标水平的总结性描述。表现评级包括目标评级和核心能力评级。表现评级指的是演练参加人员相对于每个能力目标的表现;核心能力评级指的是相对于核心能力的总体表现。

●记录观察:在每份应急演练评估表中,评估员提供目标评级、观察笔记和对目标评级的解释,以及最终的核心能力评级。为了高效地填写应急演练评估表,评估员应把观察的注意力放在应急演练评估表列出的能力目标和关键任务上。应急演练评估表只要求评估员客观地记录任务的完成情况,重点不在于对演练效果打分,也不是提出建议。

●给予评级:根据观察,评估员对应急演练评估表列出的每项能力目标给出目标评级,然后综合考虑核心能力的所有目标评级后,对核心能力给出一个总体评级。评级表包括四级:完成没有挑战(A),完成有些挑战(B),完成有较大挑战(C),未能完成(D)。应急演练评估表包括了每项评级的定义。

以上内容的具体实现,参见第三章的“第三节 演练评价工具”。

2.开发评估表的步骤

以下分步指导将帮助应急演练评估表的开发。

第一步:明确原则。

●参考演练计划会议中演练组织者对核心能力和评估范围展开的讨论。

●确保确定的组织机构能力目标和相关的关键任务在演练中得到充分检验。

第二步:调查研究。

●阅读当前突发事件评估报告中提出的能力差距。

●查阅过去及当前的评估报告,根据共同的主题和形势,获取要演练和验证的能力目标和关键任务。

●研究适用的政策、计划、方案,识别要演练和评估的任何组织机构的能力目标和相关关键任务。

第三步:编制评估表。

●选择评估表类型。根据任务领域和能力,选择适当的应急演练评估表。

●确定表头信息。填写应急演练评估表顶部的基本信息,包括演练名称和日期、观察的组织机构/辖区,以及地点。

●确定演练目标。确认并表述与能力提升目的相一致的演练目标。

●确定核心能力。应急演练评估表的核心能力描述提供了具体的能力目标。

●确定能力目标。为每个参演的组织机构确定演练的能力目标,以定量或定性的表述形式撰写。

●确定关键任务。根据政策、预案和程序制定关键任务。

这里需要注意的是:

●应急演练评估表可以用于桌面演练中记录关键决策点,或者在实战演练中记录开展的行动。

●演练的范围和目的决定了相关的演练目标和要评估的关键任务的数量和范围。

●对于应急演练评估表的组织机构能力目标和相关关键任务,要做出必要的注释。

五、工具使用

由于不同的评估步骤对评估任务和工作要求各有差异,所以使用的评估工具也呈现出不同的特点(见表2-5)。表2-5评估工具的使用

关于评估员记录表参见第三章的“第二节 演练记录工具”。关于参演者反馈表参见第三章的“第四节 演练反馈工具”。

六、召开预备会

应急演练前要召开演练组织者情况介绍会和评估员预备会,用来核实评估员的角色、职责和分配,确保评估员理解提供给他们的信息里列出的所有事项;阐明变动情况(如果有),如应急演练事件的变动、评估员的重新分配等;使评估员熟悉演练地点的地理情况和相应机构等,明确自己的观察位置。

介绍会要给评估员提供询问的机会和时间,提出的问题需要得到解答,信息要得到澄清,保证评估员对角色和职责完全理解,进一步促使评估员了解演练流程,明确评估任务,掌握评估方法,从而有效地完成评估任务。第二节 观察收集数据

应急演练评估的价值在于它能对参演者提出建设性(正面或负面)反馈,以改善有关机构应急响应的有效性。负责准备评估报告的人员通过分析各个评估员提供的评估结果,来分析演练活动和任务是否得到顺利的执行,目标是否顺利实现,从而全面评价演练所反映出的应急响应能力。因此在演练实施时,评估员要善于观察演练,广泛收集数据,并且保留这些原始、准确的观察记录和笔记。这些记录将成为应急演练评估的基础和根据。

一、观察记录

每个评估员对演练中发生的所有事件的准确、细致、全面、完整的记录,对了解参演者的行动十分关键和重要。(一)主要内容

应急演练的内容很多,评估员在观察、记录之前需要思考以下几个问题来明确观察、记录的主要内容。第一,选择观察的角度。怎样从特定角度或多种角度进行观察?第二,观察的重点是什么?主要着重、着眼于哪些方面?第三,用什么样的标准来观察参演者的行为?总体来说,评估员至少应当观察、记录以下各项参演者行为:(1)监测和评价模拟场景主要事件的情况;(2)对初始场景采取的行动;(3)作出的关键决定及收集的信息、作决定的时间;(4)偏离预案的做法及实施步骤;(5)缓解突发危急情况的行动和结束的时间;(6)发出的指令及指挥处置的方式和结果;(7)是否有预案或程序影响参演者的表现;(8)演练目标如何实现或者哪些还没有实现;(9)导致参演者没有达到能力目标或实现关键任务的明显原因或根本原因;(10)参演者创造性解决问题的活动和改进建议;(11)参演者之间的沟通;(12)利用资源的情况;(13)使用或执行的预案、政策、程序或法律法规的情况,以及促使形成结果的任何其他因素。

以上只是列举了观察记录的主要内容,在实际的应急演练过程中,需要评估员具体问题具体分析,结合演练目标对演练过程进行观察和记录。尤其要重点记录指挥部面对某一突发事件或关键事件时做出相应决策的时间(开始、结束时间点)、各种决定及采取的各种措施与行动,处理棘手问题的方式方法,演练过程中的经验和教训及对将来处理类似情况的建议,演练过程是否达到了所设定的预期目标,自己对以上关键问题的评价等。评估员要尽可能客观地对演练过程进行观察,不带有偏见或成见,并认真填写“演练评估表”和“演练组织评估表”。(二)评估组的职责和任务

上一节对于评估组组长和评估员在演练活动全过程中的职责和任务给予了全面的描述。这里对于评估组在演练实施期间的观察与收集数据的具体任务再进行详细的说明。

评估组在演练的观察演练、收集数据阶段,主要应该担负以下职责:收集数据,检查紧急情况行动计划、标准行动程序等,记录在演练期间发生的讨论,参加参演者的热反馈等。

1.评估组组长的任务(1)确保评估员位于恰当位置;(2)确保评估员配备恰当的文件和设备;(3)确保评估员观察并记录参演者的行动;(4)确保评估员需要时能获得后援;(5)与演练组织者相协调。

2.评估员的任务(1)在演练期间随着演练的进展记录讨论;(2)演练后检查笔记是否有遗漏和缺失之处;(3)出席演练后的参演者热反馈;(4)收集参演者对演练的观察和看法;(5)澄清某些问题或收集缺失的信息,弥补遗漏之处。

3.评估员的注意事项

评估员在观察演练、收集数据的过程中需注意以下事项:(1)尽可能减少偏见,避免在演练中作出主观判断和结论;(2)避免受过于有影响力的参演者的影响;(3)如果无法记录重要的数据,联系评估组组长,寻求协助;(4)避免在演练期间作出最终的评估和判断;(5)避免与参演者交谈,谈话可能影响评估员对演练的印象;

试读结束[说明:试读内容隐藏了图片]

下载完整电子书


相关推荐

最新文章


© 2020 txtepub下载