评估 中国烟草控制基础

模块五：评估 自我介绍 姓名 项目评估工作的经验

模块五：评估 学习目标 解释评估的目的和好处 描述评估计划的五个部分 理解项目逻辑模式的组成要素和关系 确定项目利益相关者 定义不同类型的评估 确定评估指标 明确数据收集方法 明确数据来源 理解基本的数据分析技巧和数据解释方法 描述评估报告的目标及其组成要素

模块五：评估 日程：第一天（上午8:30 – 下午4:00） 欢迎与介绍 8:30 – 9:15 开始学习评估 9:15 – 9:45 茶歇 9:45 – 10:00 第一部分：项目介绍 10:00 – 11:00 第二部分：评估设计 11:00 – 12:00 午餐 12:00 – 1:00 第二部分：评估设计（续） 1:00 – 2:00 2:00 – 2:15 第三部分：数据收集 2:15 – 3:45 总结和答疑 3:45 – 4:00

模块五：评估 日程：第二天（上午8:30 – 中午12:00） 致欢迎词及复习 8:30 – 8:45 第四部分：数据分析 8:45 – 10:00 茶歇 10:00 – 10:15 第五部分：评估报告 10:15 – 11:30 总结和课程评估 11:30 – 12:00

模块五：评估 注意事项 停车、洗手间、时间表 课堂参与 小组纪律 《学员手册》

模块五：评估 开始学习评估

开始学习评估 学习目标 解释评估的目标和好处 描述评估计划的总目标 列举和描述评估计划的五个组成部分

“系统性的收集项目活动、特点和结果的信息，借以对项目情况做出判断，并且/或者对项目未来发展做出有根据的决定。” 开始学习评估 什么是评估？ “系统性的收集项目活动、特点和结果的信息，借以对项目情况做出判断，并且/或者对项目未来发展做出有根据的决定。” 来源：美国疾病预防控制中心

开始学习评估 为什么要开展评估？ 评估有助于： 判断一个项目或者一项政策按照计划开展的程度 估计项目或政策的结果以及随时间产生的影响 提升项目或者政策的表现 表明问责以及资源使用的合理性

开始学习评估 评估的其它好处 评估可以提供： 一个倾听来自项目或政策参与者/受影响者声音的机会 提高员工或者支持者的工作热情 加大媒体曝光度 拓宽项目的可见性和范围

评估计划是评估所包括的步骤和过程的路线图 开始学习评估 评估计划 评估计划是什么？ 评估计划是评估所包括的步骤和过程的路线图

开始学习评估 评估计划 为什么要有评估计划？ 一项评估计划有助于： 定义评估包括的范围和预期结果 明确数据收集和分析所用的策略和方法 确定所需的时间和资源 开展评估活动 将行动和需求区分优先次序

开始学习评估 制定一项评估计划 第一部分：项目介绍 第二部分： 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分： 评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

开始学习评估 评估计划 1 2 项目介绍 项目总目标： 逻辑模型： 评估设计 项目分目标： 利益相关者： 评估类型： 过程 （投入、活动、产出） 结果（短期、中期、长期） 评估问题： 评估指标： 1 2

开始学习评估 评估计划 数据收集 过程 结果 评估问题： 数据收集策略： 方法 工具 抽样方法 3

开始学习评估 评估计划 数据分析 过程 结果 评估问题： 分析策略： 评估指标： 评估报告 报告目标： 报告听众： 报告类型： 4 5

开始学习评估 案例分析 无烟公共场合倡议 通过在公共场所广泛的接受和实施无烟政策，减少市民二手烟草烟雾暴露 政策 拓展活动 教育 媒体

模块五：评估 茶歇

模块五：评估 第一部分： 项目介绍

第一部分：项目介绍 评估：项目介绍 第一部分：项目介绍 第二部分： 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分： 评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

第一部分：项目介绍 评估计划：项目介绍 项目介绍 项目目标： 逻辑模型： 1

第一部分：项目介绍 项目目标是什么？ 项目或政策的目标应当描述以下内容： 项目或政策的总目标 项目或政策期望获得的结果 受项目或政策影响的特定目标人群 通过实施项目或政策，你想取得什么成果？

第一部分：项目介绍 什么是逻辑模型？ 逻辑模型以图表形式解释了下列因素之间的关系： 使用的资源 开展过的活动 项目期间产生的效果或者立竿见影的变化 项目带来的益处或者长期的改变

第一部分：项目介绍 逻辑模型——总目标 逻辑模型可以帮助我们： 确定项目活动是否可以在逻辑上产生想要的结果 帮助利益相关者明白项目的总体目标、必需的资源、需要开展的 活动，以及影响力 提出项目评估需要回答的问题

第一部分：项目介绍 逻辑模型——模板 投入 活动 产出 结果 短期 中期 长期

第一部分：项目介绍 逻辑模型——组成要素 产出：项目活动产生的有形的、直接的结果 结果：项目活动产生的预期结果 活动：实施项目进行的活动 投入：实施项目投入的资源

第一部分：项目介绍 什么是项目投入？ 执行项目所需的资源 举例： 资金 当地政府部门 部门领导 当地卫生部门 当地工作场所 当地媒体 其它还有哪些？

第一部分：项目介绍 什么是项目活动？ 描述能够使项目达到目标的活动和行为 项目期间会发生什么？ 举例： 制定一项模范无烟公共场所政策及其实施步骤。 与政府和企业领导会面，进行无烟政策和实施步骤的 宣传沟通。 组织和实施控烟媒体宣传活动，包括电视、广播、网 络以及印刷材料。 其它还有哪些？

第一部分：项目介绍 什么是项目产出？ 项目活动产生的有形的、直接的结果 举例： 针对示范无烟政策及其实施的的培训 接触二手烟草烟雾危害的相关信息 与政府机关和企业领导会面 其它还有哪些？

第一部分：项目介绍 项目成果是什么？ 作为项目的结果，可预期的变化 短期 1-3年 中期 3-5年 长期 4-6年以上 举例： 短期 中期 知识、态度和行为上的改变 实施无烟政策的公共场所增多 二手烟草烟雾暴露减少 对吸烟行为的容忍度下降 在公共场所内部或周围吸烟行为的减少 烟草消费量下降

第一部分：项目介绍 问题： 结果和产出的区别有哪些？

第一部分：项目介绍 比较产出和结果 产出 结果 工作场所召开的会议数量 无烟政策的知晓程度上升 开展二手烟草烟雾危害媒体宣传的行动计划 加强无烟政策的可见性 发放的关于二手烟草烟雾危害的宣传册数量 目标受众知晓二手烟草烟雾危害 开展的无烟工作场所研讨会 无烟政策的进一步实施

第一部分：项目介绍 案例学习：项目总目标 1 项目介绍 项目总目标： 通过在公共场所广泛采纳和实施无烟政策，降低市民的二手烟草烟雾暴露率。 逻辑模型： （下一页） 1

第一部分：项目介绍 案例学习：逻辑模型 投入 项目活动 产出 结果 短期 中期 长期 资金 当地政府机关 部门领导 当地工作场所 当地媒体   短期 中期 长期 资金 当地政府机关 部门领导 当地工作场所 当地媒体 社会大众 制定无烟公共场所政策 与政府机关和企业领导人会面 编写和发放宣传教育材料 规划和实施媒体宣传 与媒体合作 政策文件 政府机关、企业和社区对政策的理解 接受宣传教育材料的政府机关和企业数量 媒体宣传 媒体报道  对政策的了解和支持度上升 政策采纳 政策实施 对吸烟行为或烟草推广的接受度降低 实施无烟政策的公共场所数量上升 在公共场所内或周围吸烟行为的减少 戒烟率上升 二手烟草烟雾暴露降低 烟草消费降低 吸烟引起的发病率以及死亡率降低

模块五：评估 第二部分：评估设计

第二部分：评估设计 评估：设计 第一部分：项目介绍 第二部分: 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分：评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

第二部分：评估设计 评估计划：设计 2 评估设计 项目分目标： 利益相关者： 评估类型： 过程（投入、活动、产出） 结果（短期、中期、长期） 评估问题： 指标： 2

第二部分：评估设计 项目分目标是什么？ 描述项目行动和活动的结果 描述作为项目或政策的结果，我们希望实现的改变 必须具体、可衡量、可到达、相关，并且有时间限制

开始学习评估 项目分目标：案例分析 分目标： 截至2015年9月，75%的市民将报告至少在3个不同的媒体频道 上见过控烟信息。 截至2015年9月，60%的市民将认为餐馆和公共交通设施（例 如飞机场、火车站、公共汽车）应当禁止吸烟。 截至2016年1月，禁止在公共场所吸烟的规定将颁布实施。

利益相关者指投入到项目中、对项目结果评估感兴趣的个人或机构，并且/或者与评估的结果有利害关系。 第二部分：评估设计 利益相关者是什么？ 利益相关者指投入到项目中、对项目结果评估感兴趣的个人或机构，并且/或者与评估的结果有利害关系。 利益相关者可以包括： 项目或政策的参与者或受影响者 参与到项目或政策实施的人 项目资助者 评估结果的预期使用者

第二部分：评估设计 利益相关者与评估 在评估的每个阶段提供投入 帮助实施评估活动 帮助提高评估过程的公信度 促进评估发现的推广利用 利益相关者可以： 在评估的每个阶段提供投入 帮助实施评估活动 帮助提高评估过程的公信度 促进评估发现的推广利用 提供倡导和支持

第二部分：评估设计 问题： 对于我们的案例分析而言，你们认为谁可以成为我们的利益相关者？

第二部分：评估设计 评估类型 过程评估 结果评估

第二部分：评估设计 评估类型 过程评估： 评估项目或政策的开展或实施过程 过程：活动、材料、运行、后勤、参与者人数、员工人数，等等。 结果评估： 评估项目或政策对目标人群的效果 过程：活动、材料、运行、后勤、参与者人数、员工人数，等等。 结果：知识、态度、行动、技巧、行为、政策

针对我们的案例学习，请举例说明我们如何运用过程评估？ 第二部分：评估设计 问题： 针对我们的案例学习，请举例说明我们如何运用过程评估？ 我们可以如何运用结果评估？

第二部分：评估设计 过程评估 评估项目在多大程度上按照计划得以实施 记录项目每次实施的特点（按照员工或者地点） 提供提高项目因素和质量的信息 有利于质量控制 为项目问责提供信息 帮助你全面理解项目如何运行

结果评估检测项目或政策对目标人群产生的结果，根据时间跨度可以分为： 第二部分：评估设计 结果评估 通过回答诸如以下问题，关注项目或政策的结果： 知识、态度和行为是否由于项目或政策实施而发生改变？ 项目或政策是否对目标人群产生预期的结果？ 结果评估检测项目或政策对目标人群产生的结果，根据时间跨度可以分为： 短期、中期、长期

短期 第二部分：评估设计 短期结果评估 知识、态度、技巧 项目或政策的即时或早期结果，例如： 目标人群的知识、态度和观念的改变程度大小 项目或政策在多大程度上达成短期目标的要求 有效的材料或活动证据 如何最优化使用资源的建议 知识、态度、技巧

中期 第二部分：评估设计 中期结果评估 实践、社会习俗、环境 评估达成长期目标所需的进一步的进展，包括： 目标人群为增加知识所作出改变的行动类型 关于项目可以在多大程度上帮助参与者将他们所学的运用到实际生活中。 实践、社会习俗、环境

长期 第二部分：评估设计 长期结果评估 目标人群的总体效益 评估项目在多大程度上成功的实现终极目标 根据有意义的数据，初步使用结果来解释项目的有效性 发现和结果可以在以下方面用于项目： 调整、改进、变得更有效 为项目管理者和员工提供更加清晰的工作脉络 目标人群的总体效益

第二部分：评估设计 午餐

第二部分：评估设计 评估计划：设计 2 评估设计 项目总目标： 利益相关者： 评估类型： 过程 （投入、活动、产出） 结果 （短期、中期、长期） 评估问题 评估指标 2

第二部分：评估设计 评估目标 评估项目的有效性 确定项目实施过程中的优势和不足 评估问题应当反映评估的用途和功能，例如： 你对哪方面的学习课题感兴趣？ 你将对哪些方面进行评估？

评估问题可以宽泛到足够覆盖全部项目目标和活动，但不可以禁锢地关注在一些可能只会出现在调查中的问题。 第二部分：评估设计 评估问题 考虑周到并且贴切的评估问题： 是评估成功的关键 遵循评估总目标 应当关注项目分目标是否达成 可能需要优先化，以保证符合资源和时间限制的要求 评估问题可以宽泛到足够覆盖全部项目目标和活动，但不可以禁锢地关注在一些可能只会出现在调查中的问题。

第二部分：评估设计 有关过程的评估问题 关注点在于项目多大程度上得以妥善实施 开展了什么活动？ 通过这些活动，覆盖了那些人 群？ 通过这些活动，覆盖了那些人 群？ 利用的投入或资源有哪些？

第二部分：评估设计 有关结果的评估问题 记录项目对目标人群的影响 建立项目的某个方面与想达到的结果之间的关系 项目对利益相关者起到了哪些 作用？ 那些方面可以做出调整，提高 项目的有效性？ 是否应当继续对项目进行资金 支持？

第二部分：评估设计 活动：写下两个评估问题—— 与过程相关的评估问题（投入、活动或产出） 与结果相关的评估问题（短期、中期、长期）

第二部分：评估设计 投入 有关过程的评估问题——投入 问题： 资金 实施项目活动的资金是否充足？ 当地政府部门 部门领导 当地工作场所 当地媒体 社会大众 问题： 实施项目活动的资金是否充足？ 多少家媒体获得批准加入项目？

第二部分：评估设计 有关过程的评估——活动 活动 问题： 与政府和企业领导进行了多少次会面？ 宣传教育材料是否已经完成？ 制定无烟公共场所政策 与政府和企业领导会面 制作和发放教育教育材料 策划和实施媒体宣传 进行媒体宣传 问题： 与政府和企业领导进行了多少次会面？ 宣传教育材料是否已经完成？

第二部分：评估设计 有关过程的评估——产出 产出 问题： 宣传教育材料是否发放到计划目标人群？如果没有的话，为什么？ 政策文件 政府和企业对政策的理解 宣传教育材料发放到X家部门机构 媒体宣传 媒体报道 问题： 宣传教育材料是否发放到计划目标人群？如果没有的话，为什么？ 项目实施以来，有多少次记录在案的媒体报道？

第二部分：评估设计 有关结果的评估问题——短期 短期 问题： 在市民中，无烟政策的知晓程度和支持率是否上升？ Long- Term   短期 Long- Term 政策的知晓程度和支持率上升 政策通过 政策实施 对吸烟行为和烟草推销的容忍度下降 问题： 在市民中，无烟政策的知晓程度和支持率是否上升？ 多少个公共场所已经采纳了无烟政策？

第二部分：评估设计 有关结果的评估问题——中期 Short- Term 中期 问题： Long- Term 实施无烟政策的公共场所数量增多   公共场所内部或周边烟草使用下降 戒烟率上升  中期 问题： 在已经采纳了无烟政策的公共场所之中，多少场所正在实施无烟政策？ 无烟政策对市民戒烟有什么影响？

第二部分：评估设计 有关结果的评估问题——长期 Short- Term 长期 问题： 无烟政策的采纳实施对吸烟的市民有何影响？ Long- Term 二手烟草烟雾暴露下降   烟草消费量下降 烟草相关的患病率和死亡率下降 长期 问题： 无烟政策的采纳实施对吸烟的市民有何影响？ 自从无烟政策实施以来，烟草相关的患病率和死亡率是升高、下降还是保持不变？

评估指标是能够帮助回答评估问题的绩效考核指标 第二部分：评估设计 什么是评估指标？ 评估指标是能够帮助回答评估问题的绩效考核指标 具体的、可观察的、可衡量的特点或变化 为收集信息以回答评估问题提供了的基础 显示达成某项特定结果的进展情况

第二部分：评估设计 问题和评估指标 评估问题 评估指标 由于项目的实施，多少家政府机关办公楼采纳了无烟政策？ 符合公认标准的采纳无烟政策的政府机关办公楼数量。 实施无烟政策的政府机关数量。   在对政府机关随机突访之中，没有发现任何室内吸烟证据的办公楼数量。

第二部分：评估设计 过程和结果评估指标——例子 过程评估指标 结果评估指标 开展业务的能力 参与率 参与满意度 资源使用的效率 行为改变 社区习俗 政策或规定 健康状态 生活质量

第二部分：评估设计 案例学习：评估设计 2 评估设计 项目分目标： 利益相关者： 评估类型： 过程（投入、活动、产出） 结果（短期、中期、长期） 评估问题： 指标： 2

第二部分：评估设计 案例学习：项目分目标 截至2015年9月，75%的市民将报告至少在3个不同的媒体 频道上见过控烟信息。 截至2015年9月，60%的市民将认为餐馆和公共交通设施（ 例如飞机场、火车站、公共汽车）应当禁止吸烟。 截至2016年1月，禁止在公共场所吸烟的规定将颁布实施。 截至2016年6月，无烟公共场所政策将得以实施，并且包括 监督和管理。 截至2016年9月，无烟政策规定的75%的室内公共场所将遵 守无烟政策，禁止吸烟。

模块五：评估 第三部分：数据收集

第三部分：数据收集 评估：数据收集 第一部分：项目介绍 第二部分: 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分：评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

第三部分：数据收集 评估计划：数据收集 数据收集 过程 结果 评估问题： 数据收集策略： 方法 工具 抽样方法 3

第三部分：数据收集 数据收集：规划 规划你的数据收集过程： 明确需要收集的数据类型（定量数据、定性数据、或二者都有） 确定目标人群 确定哪种数据收集方法可以最好地回答你的评估问题 考虑时间和现有的资源

针对你的每一个评估问题，确定数据收集方法。 第三部分：数据收集 数据收集方法 需要收集哪种类型的数据？ 定量数据 定性数据 针对你的每一个评估问题，确定数据收集方法。

第三部分：数据收集 定量数据 通常包括定量数据的收集和分析 用于计算数量、流行率和发病率 具有封闭性问题的调查问卷 访谈 观察清单 观察和检验——环境研究 其它相关的记录材料，包括监测记录，计数器等等

第三部分：数据收集 定量数据 定量数据的优势有哪些？ 定量数据的收集工具可以用于大型数据 定量数据的收集工具可以标准化 编辑数据进行分析的方式简单 展示研究发现的方式简洁 定量数据的研究发现比定性数据更具有科学性和普及型，因此更容易被广泛接受

第三部分：数据收集 定性数据 通常包括文本的收集和分析 用于理解或了解相关含义 个人访谈 观察 小组座谈 具有开放性问题的调查问卷

第三部分：数据收集 定性数据 定性数据的优势有哪些？ 促进对多元化视角的理解 可以揭示没有预期到的结果 直接引用和逸闻轶事具有表现力，并且容易理解 可以产生新的想法

样本人群是整个研究人群的一个子集（或者一部分）。 第三部分：数据收集 什么是样本人群？ 样本人群是整个研究人群的一个子集（或者一部分）。 抽样用于确定一个较大人群的相关特征。 在以下情况中，抽样调查很重要： 收集所有人或机构的数据不可能实现或不可行（通常情况下，人数大于100人） 可以使用一个具有代表性的样本来对项目或政策下结论。

第三部分：数据收集 简单随机抽样 研究总体的每个成员被选作样本的几率一样大 可以运用最基本的抽奖系统或者抽样软件来选择调查对象 X

第三部分：数据收集 便利抽样 便利抽样的唯一选择标准是选择对象属于研究总体，并且可以参与调查。 结果可能在统计学意义上不准确。 样本 X

第三部分：数据收集 整群抽样 整群抽样是一个多步骤从整体进行抽样的方法，首先将总体分成彼此互斥并且相互穷尽的组，然后随机选取一些组进行检测 例子： 医院 政府机关 饭店 样本 样本 样本

第三部分：数据收集 数据收集工具 访谈 问卷调查 小组座谈 观察

第三部分：数据收集 访谈 在以下情境中，个人访谈有意义： 主题敏感 调查对象的阅读能力低下 由于日程、地理位置等限制，将调查对象聚集到小组很困难。 电话访谈 面对面访谈

第三部分：数据收集 访谈 优势 劣势 可以询问调查对象某个回答的含义 回答用的是调查对象自己的语言 受访者参与到评估中来 适用于阅读或书写能力低下的人 比问卷调查费用高而且时间久 进行分析花费的时间长 需要受过培训的访谈人员

第三部分：数据收集 访谈：电话访谈和面对面访谈 电话访谈： 优势 劣势 比面对面访谈费用低 可以在白天或晚上进行 调查对象更公正坦率 不是所有人都有电话 未列入电话簿的号码以及不可接通的号码 人们会屏蔽来电 人们接听电话的时间短 面对面访谈： 更加私人 可以对问题进行深入探讨 灵活性更大 费用高 过于接近也许会影响或干扰调查对象的回答

问卷调查是一种用于收集可以用数字或简短答案表达的系统化和标准化信息的数据收集方式。 第三部分：数据收集 问卷调查 问卷调查是一种用于收集可以用数字或简短答案表达的系统化和标准化信息的数据收集方式。 在以下情境中，问卷调查有用： 需要从大量人群中收集数据 需要在多个时间点收集同样的数据 现有标准化的工具，或可以制定标准化工具

第三部分：数据收集 问卷调查——现有资源 全球成人烟草调查（Global Adult Tobacco Survey (GATS)） 全球青少年烟草调查（Global Youth Tobacco Survey (GYTS)） 全球工作场所吸烟调查（Global Workplace Smoking Survey） 全球学校员工吸烟调查（Global School Personnel Survey） 国际控烟调查（International Tobacco Control Survey (ITC)）

第三部分：数据收集 问卷调查 访谈形式 调查员进行提问（例如，面对面，电话 访谈） 调查员记录回答 自主形式 调查员进行提问（例如，面对面，电话 访谈） 调查员记录回答 自主形式 受访者收到调查（例如，信件、电子邮 件、互联网） 受访者自己完成调查

第三部分：数据收集 问卷调查——访谈形式 优势 劣势 可能更多样化 可以触及多元化人群 应答率高 为受访者提供澄清回答 的机会 费用高 访谈偏倚 受访者不情愿 安全问题 不能确保信息保密 日程问题

第三部分：数据收集 问卷调查——自主形式 优势 劣势 花费低 回答迅速 方法有效性 调查对象可以选择他们 方便的时间完成调查 需要阅读能力 对数据的控制力弱 开放性问题少 应答率低 调查对象缺乏动力

小组座谈会是一种定性调查方法，一位受过培训的主持人掌控只有几个参与者的小组讨论，鼓励这些参与者自由发言和说出自发的想法。 第三部分：数据收集 小组座谈会 小组座谈会是一种定性调查方法，一位受过培训的主持人掌控只有几个参与者的小组讨论，鼓励这些参与者自由发言和说出自发的想法。 小组座谈会的优势有哪些？ 小组互动可以引导深层次的回答和讨论 每次可以讨论一个问题，可以迅速收集答案 在小组的形式下，调查对象感觉更放松自然 一次小组座谈可以涵盖多个话题 主持人可以深入探究事先没预计到的情况，并鼓励互动 调查对象可以对他们的观点进行制约和平衡，以最大程度减少错误 或极端的观点

第三部分：数据收集 小组座谈会 小组座谈会可能有哪些劣势？ 调查对象可能很少达成共识或者作出结论 分析结果可能会花费很长的时间 在小组形式下，调查对象可能不会放松自然的分享观点 将所有调查对象安排到一起可能会很困难 调查对象也许不能代表典型的目标人群 某些热衷发言的调查对象也许会掌控整个讨论

观察是一种通过观测目标人群的活动、行为以及外在特征，来收集数据的调查方式。 第三部分：数据收集 观察 观察是一种通过观测目标人群的活动、行为以及外在特征，来收集数据的调查方式。 观测可以用于检测以下项目： 物证 吸烟行为 人际交流 引导标示 执行项目顺利与否 外在的障碍和困难

观察 第三部分：数据收集 优势 劣势 当活动发生时可以进行观 测 自然状态可以带来对某些 现象更好的理解 可能会发现没有考虑到的 信息 可以揭示调查对象没有意 识到或不能解释清楚的问 题 很难对观察到的行为进行 说明 将观察结果进行分类可能 会很复杂 观察也许会反过来对行为 产生影响 观察者偏倚 花费高

第三部分：数据收集 案例学习：数据收集 数据收集 过程 结果 评估问题： 数据收集策略： 方法 工具 抽样方法 3

模块五：评估 第一天：总结和提问

评估：第二天 中国烟草控制基础

模块五：评估 第四部分：数据分析

第四部分：数据分析 评估：数据分析 第一部分：项目介绍 第二部分: 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分：评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

第四部分：数据分析 评估规划：数据分析 数据分析 过程 结果 评估问题： 分析策略： 评估指标： 4

“对数据的系统性回顾，寻找共同的主题、主题的模式和关系可以使你对项目的改进提出建议” 第四部分：数据分析 数据分析 “对数据的系统性回顾，寻找共同的主题、主题的模式和关系可以使你对项目的改进提出建议” 美国疾病预防控制中心（CDC）

第四部分：数据分析 定性分析 再次阅读访谈稿，关注细节 将回答进行分类 确定类型、关系或主题 对数据进行最终检查 储存数据

第四部分：数据分析 定量分析 确定调查对象人数 确定调查对象分组 确定回答 确定分析方式 计算回答

第四部分：数据分析 定量分析：计算平均数 均值（算术平均值）：计算一系列数据的中间值 计算方法：将所有的数值加在一起，然后除以数值的个数 下列数值的平均数是多少？ 2, 3, 5, 6, 6, 8, 10, 10, 12, 18

第四部分：数据分析 定量分析：频数和比率 频数：计算一个特定的回答出现的次数 比率： 对两个数据进行比较的方法。比率显示的是两个组或者两个时 间点的调查对象的差异。 例子：205 个调查对象表示某信息帮助他们改变了对政策的定 位。 例子： 表示某信息帮助他们改变对政策定位的调查对象和表示 没有帮助的调查对象的比率是3:1。

第四部分：数据分析 定量分析：百分比和比例 百分比是“每100份中所占的数量”。50%的意思是100之中占50。 百分比以一种特殊的方式显示某一项回答占回答总体的比例 50%  50/100  ½  0.5 比例是回答的频数除以回答的总数。 计算方法： 回答的频数 回答的总数 X 100

无烟公共场所联合项目发现在25个参与培训的工作场所经理之中，18人制定了无烟政策。 第四部分：数据分析 计算下列百分比和比例： 无烟公共场所联合项目发现在25个参与培训的工作场所经理之中，18人制定了无烟政策。 制定了无烟政策的工作场所经理所占的百分比是多少？ 实施了无烟政策的工作场所所占的比例是多少？

第四部分：数据分析 结果分析 结果分析应当回答下列问题： 你的项目相关的评估问题是否得到解答？ 数据显示了哪些信息？ 这些信息的含义是什么？ 你的发现是否具有统计学意义？

第四部分：数据分析 结果分析 对结果进行研究 理解结果如何与下列项目相关： 预期的结果 项目目标 评估问题 项目经过、优势、劣势等的描述和解释

第四部分：数据分析 结果分析 问自己以下问题： 我们做的工作与我们预期的工作有哪些区别？ 我们从中学到了什么？ 我们得到的主要教训有哪些？

第四部分：数据分析 结果分析 提高结果被接受的概率 分享拟定的建议 向多个利益相关者征求回馈 展示选项而不是指令 确保这些建议具有良好的数据支持

第四部分：数据分析 数据分析——案例学习 数据分析 过程 结果 评估问题： 分析策略： 评估指标： 4

模块五：评估 茶歇

模块五：评估 第五部分：评估报告

第四部分：评估报告 评估：评估报告 第一部分：项目介绍 第二部分: 评估设计 第三部分：数据收集 第四部分：数据分析 第五部分：评估报告 项目总目标 逻辑模型 项目分目标 利益相关者 过程及结果分析 评估问题 指标 定量、定性数据 数据收集方法 样本人群及抽样方法 分析策略 定量、定性分析 结果解释 报告目标 报告听众 报告类型

第五部分：评估报告 评估规划：评估报告 评估报告 过程 结果 报告目标： 报告听众： 报告类型： 5

第五部分：评估报告 为什么要写评估报告？ 评估报告可以作为你在项目评估中获取的经验教训 的正式记录 评估报告可以作为你在项目评估中获取的经验教训 的正式记录 评估报告可以为其他可能正在考虑开展相似项目或 政策的人或机构提供帮助 评估报告可以作为未来进一步开展评估工作的基础

第五部分：评估报告 撰写评估报告 通过下列问题，明确评估报告的目标： 报告的听众是谁？ 报告的听众需要或者想要知道哪些信息？ 我们希望从报告的听众那里得到什么反馈？ 有没有其他的听众可能会对你的评估结果感兴趣？

第五部分：评估报告 确定报告听众 内部 外部 员工/志愿者 管理人员 社区支持者 资助方 目标人群 利益相关者 当地社区 地区/省 全国/国际

第五部分：评估报告 运用这些结果 你计划如何在你的机构内部使用这些结果？ 由于实施了评估，会发生哪些变化？ 你计划如何在你的机构外部分享这些结果？ 你将利用什么策略来传播你的评估报告？

第五部分：评估报告 书面报告的组成部分 概要总结 背景介绍 项目说明 方法学 结果 结论和建议 附录

第五部分：评估报告 书面报告的组成部分 概要总结 提供简洁的项目综述，并重点介绍报告的主要发现以及建议 背景介绍 项目历史 评估的总目标 项目说明 包括项目总目标和分目标 介绍自从项目实施以来，项目或政策的任何修改

第五部分：评估报告 书面报告的组成部分 方法学 介绍研究方法及其基本原理 结果 主要研究结果 对主要研究发现的简要分析 结论和建议 根据数据分析得出的项目结论 改进项目或增加到项目中的建议 附录 数据收集工具，项目逻辑模型

第五部分：评估报告 数据格式 定性数据的格式 定量数据的格式 总结性的文本 调查对象回答的直接引 用 文本 表格 图表 统计图

第五部分：评估报告 现有数据 提供研究方法基本原理，或项目设计决定 与其它的研究相比较 建立测量数据的比较基线 为建议提供更多的论据和支持

第五部分：评估报告 现有数据 国家、省或地区调查及其数据库 其它研究相似主题的项目 公共或私有的项目文件或记录 其它和评估问题有关的记录 会议记录、需求评估、实时通讯、新闻发布稿、学术期刊、资助方和合作单位记录、以及检测记录

第五部分：评估报告 接触你的报告听众 将你的报告给予听众 解决对你的听众来说重要的问题 确保你的报告及时送达，并且有用 报告信息能够被充分理解

第五部分：评估报告 评估报告——案例学习 评估报告 过程 结果 报告目标： 报告听众： 报告类型： 5

模块五：评估 最后的问题？

模块五：评估 课程评估

评 估