Module 5: Monitoring & Evaluation 亚太地区重点人群艾滋病及性与生殖健康防治服务 Effective HIV & SRH Responses among Key Populations in Asia & the Pacific Module 5: Monitoring & Evaluation 亚太地区重点人群艾滋病及性与生殖健康防治服务 监督与评估

Monitoring and Evaluation M&E and Using Data for Decision Making Session 1 Monitoring and Evaluation 监督与评估 M&E and Using Data for Decision Making 监督与评估及利用数据用于决策

Overview Monitoring & Evaluation – Why? 监督与评估—为什麽？ Data Flow and the Data Feedback Cycle 数据流及数据反馈循环 Global M&E Guidance and Tools for Key Populations 全球重点人群监督与评估指南及工具 Monitoring & Evaluation of Integrated Services 综合服务的监督与评估 Monitoring & Evaluation of a Comprehensive Package 综合方案的监督与评估 Defining true targets 定义真正的目标

Monitoring & Evaluation Power of numbers 数据的力量 best practice 最佳实践 Resource Mobilisation 资源动员 Stories behind statistics 统计背后的故事

Monitoring & Evaluation Programme M&E systems are driven by: 项目督导与评估系统影响因素： Local programme and data demands项目及数据需求 Funding agency requirements资助方要求 National M&E Framework: The Three Ones国家监督与评估框架：三个一 National M&E system is driven by国家督导与评估系统影响因素: National & international reporting requirements国家及国际报告要求 Different sets of indicators不同的指标: PEPFAR, USAID, Global Fund, UNAIDS, UNGASS艾滋病紧急救援计划、美国国际开发署、全球基金、联合国艾滋病规划署、艾滋病承诺宣言个别会议 National Indicators国家指标 National indicators for key populations in China: # of key populations reached # of key populations tested

Monitoring & Evaluation “Rarely do you need to design new indicators. Resist the temptation. If you think it will be a better indicator than any other existing indicator, ask why no one else has used it before.” David Pencheon 项目很少需要设计的新指标。抵制诱惑--如果你认为这是一个比其他已存在指标更好的指标,就思考一下为什么以前没有人使用它 --David Pencheon National indicators for key populations in China: # of key populations reached # of key populations tested

Monitoring & Evaluation Data Flow & the Data Feedback Cycle 数据流及数据反馈循环 Data Collection 数据收集 Data Management 数据管理 Data Validation 数据校验 Data Analysis数据分析 Data Translation 数据翻译 Data Feedback 数据反馈

Monitoring & Evaluation Data Flow & the Data Feedback Cycle 数据流及数据反馈循环 SMALL GROUP ACTIVITY小组活动 数据流及数据反馈 绘制各地已实施的艾滋病及性与生殖健康服务项目的数据流程图 Mark on this data flow diagram 标记数据流程图: 哪个地方的数据流最强，为什麽？ 哪个地方的数据流最弱，为什麽？ 头脑风暴-促进每个级别的数据流 每个级别有数据反馈吗？为什麽？/为什麽没有？ National indicators for key populations in China: # of key populations reached # of key populations tested

Monitoring & Evaluation Global Guidance & Tools全球指南及工具 UNAIDS Three One’s Principles联合国艾滋病规划署三个一原则: 全球合作 与国家艾滋病防治框架相关的重点系统 控制数据质量的投资策略 国家能力的投资 Key Principle 3原则三: One agreed M&E framework for overall national monitoring and evaluation一个达成一致认可的全国监督与评估框架 Global level alignment Commitment should be made by partners at global level to make every effort to align their need for M&E to ensure accountability for funds and programme development based on results, as well as agreement on core elements of a country-level M&E system that can address these needs. Core national system linked to the National HIV/AIDS Action Framework Each National HIV/AIDS Action Framework should be accompanied by a core system for monitoring progress towards controlling the epidemic under the leadership of the National AIDS Coordinating Authority. Agreed investment strategies for data quality National-level stakeholders within the HIV/AIDS Action Framework should make assessments of existing M&E systems a priority. Stakeholders should agree on how systems can be improved and how a shared core system can be established that provides high-quality data for analyzing country performance. Investment in national capacity National governments, AIDS authorities and the associated development and AIDS action partnerships must make the case for necessary investment in building essential human capacity to meet national M&E needs.

Monitoring & Evaluation Global Guidance & Tools Global Tools for M&E and Key Populations监督与评估及重点人群评估工具: 数量: 基数估计及治疗级联 唯一识别编码 质量： 改变的故事 问卷及引用

Monitoring & Evaluation Global Guidance & Tools Global Tools for M&E and Key Populations监督与评估及重点人群评估工具: 三角测量： 综合的生物行为调查（生物学及行为学调查） 服务质量: 病人满意度调查及评分表 咨询委员会和小组讨论

Monitoring & Evaluation Global Guidance & Tools全球指南及工具 基数估计: 地方重点人群的特定时间快照 为项目计划、执行、监督与评估提供依据的信息 为研究及IBBS提供依据的信息 为政策提供依据的信息 大多数全国人口普查数据没有分类人群信息（如重点人群、感染者、男男等） 基数估计为监督与评估项目提供分母信息 需要彻底的三角测量、验证和定期修订

Monitoring & Evaluation Global Guidance & Tools全球指南及工具 人口基数估计 绘制包括地理数据的热点地区图 (Delphi method)重点调查人群的信息（德尔菲法） 捕获-再捕获办法 利用人口普查数据 服务使用数据 乘数法 DATA VALIDATED AND TRIANGULATED数据校验及翻译

Monitoring & Evaluation Global Guidance & Tools全球指南及工具 Treatment Cascades: Key Populations Living with HIV 艾滋病病毒感染的重点人群 KPs with HIV that access testing 能够接受检测的重点人群 KPs with HIV that know and understand their result知道并了解检测结果意义的艾滋病病毒感染的重点人群 KPs with HIV that are linked to treatment, care and support services接受治疗、关怀支持服务的艾滋病病毒感染的重点人群 KPs with HIV start ART接受抗病毒治疗的艾滋病病毒感染的重点人群 KPs with HIV maintain viral suppression 每一级数据来源？ 接受病毒监测的艾滋病病毒感染的重点人群

监督和评估全球指南及工具 Unique Identification Codes唯一识别编码: 通过防治、治疗及提供服务建立一个匿名的、可靠的系统 综合考虑4-8个与地区特殊情况及流行趋势相关问题的回 答结果为每个人建立一个独特的编码 在外展或健康服务中监督评估系统用于监测每个人，不仅 仅是绝对的数据

监督和评估全球指南及工具 唯一的识别编码可以用于促进根据目标对重点人群开展 的监测及追踪: 建立一个能减少重点人群获取艾滋病防治服务阻碍的、可靠的识 别系统 避免提供服务的同行之间重复计数 参加服务识别新的个体与服务 分析治疗级联数据 通过外展及健康服务评估重点人群的流动性 以满足需求及促进重点人群参与为主要目的调整服务协助服务

监督和评估全球指南及工具 Developing a UIC system开发唯一的识别编码系统 建立系列问题用以确定唯一的编码（重复率小于2%） 理想的情况是使用最少的字母和数字 方便记忆，是重点人群可接受 、且可支持必要的指标分解的数据，能保持一致性。 例如: 姓氏的前两个字母? 母亲的娘家姓名的前两个字母？ 出生地的前两个字母? 右手习惯还是左手习惯? 社会性别 （男性 1,女性 2,跨性别 3) 出生年的后两位数?

监督和评估全球指南及工具 TETHUPL200 唯一 保护隐私 方便记忆

安全套 监督和评估全球指南及工具 一个月内发放了100个安全套 或者 100 个安全套给4个对象 100 个安全套给10个对象 (25 个/人) 100 个安全套给10个对象 (10个/人)

接受4人次自愿检测咨询，前3次结果是阴性，但第4次是阳性 监督和评估全球指南及工具 HIV自愿检测咨询 接受4人次自愿检测咨询，前3次结果是阴性，但第4次是阳性 OR 同一人检测4次，最后一次是阳性 (同一个人) 4人各检测1次，最后检测的人是阳性 (4个人中的1个)

开发唯一识别系统需要国家层面的对话，以及地区性的项目与区域性机构和全国性机构的合作. 监督和评估全球指南及工具 开发唯一识别系统需要国家层面的对话，以及地区性的项目与区域性机构和全国性机构的合作.

监督和评估全球指南及工具 从国家层面的对话到国家层面的执行 确定目标，重点人群和唯一识别系统 确定数据收集方法和工具 在确定的外展地区进行预实验 训练预实验工作人员 建立保密体系，并进行预实验对话 收集唯一识别系统可行性和可接受性的数据 根据预实验修订UIC的编码规则 培训数据收集方法和工具，并将UIC应用到外展服务中 在确定的卫生服务提供点开展UIC预实验 建立预实验和卫生服务提供点之间的联系 建立国家系统来追踪重点人群的覆盖面 调整健康和项目服务以满足重点人群的需要和流动性-综合性的干预服务 持续的评估、随风和支持扩大服务

监督和评估全球指南及工具 UIC系统常见的挑战 启动国家对话并获得资助 在国家、地区、本地卫生机构和项目中建立合作关系 将改变管理：一种新的思考方式 设定实际可接触的目标 在多语种语言国家中的译音 建立改善的监督评估系统和数据库 同重点人群建立信任以及确保隐私、匿名

监督和评估全球指南及工具 UIC系统普遍的成效 增加外展和卫生服务覆盖的目标人群 聚焦针对重点人群的服务 人群基数估计 个体和群体的覆盖率数据 最小服务包旨在： 个体获得规定的外展和卫生服务 转介和报告方面的合作 确定减少危险行为需要的覆盖面 区域行动：项目合作和倡导

监督和评估全球指南及工具 数人，而非计数

整合服务的监督和评估 整合服务的监督与评估: 避免重复计数 建立服务的监督评估框架 与国家系统保持一致 与项目报告要求保持一致 通过已建立的机制获得真实的数据 建立重点人群提供整合服务信息的完整反馈流程

综合服务包的监督和评估 综合服务包明确了对每位重点人群成员提供服务的内容 这些HIV、性和生殖健康活动和服务应该被测量 在监督评估框架中纳入评价综合的服务包的指标 收集、分析和利用项目覆盖、产出和效果

监督和评估 定义真实的目标 使用唯一识别码需要改善目标 经过准确性校正后的较低的目标 旨在和国家指南一致的SMART目标 如没有国家指南，同其他本地项目 ，资助方，以及参考国际指南 分级目标和 celebrate milestones 增强系统以提高数据

结论 系统性服务监督和评估将展示重点人群接受预防、治疗和关怀的挑战和机遇 指标的设立应同国家指标一致 基数估计为策略项目进展提供了分母 综合的服务包明确了可被监督的干预措施 目标的降低并非实践的消极反应，而是通向精确测量的积极之举 好的监督评估创新将促使完整的数据反馈

References Baldwin, S., Boisen, N., & Power, R. (2008). Managing information: Using systematic data collection to estimate process and impact indicators related to harm reduction services in Myanmar. The International Journal of Drug Policy, 19S, S74-S79. doi:10.1016/j.drugpo.2007.12.005. DDRP. (2007). DDRP Best Practice Collection: Unique Identifier Code. Fielden, S. (2013). Protocol: Creating the UIC Code & Evaluation Plan. Tools for Establishing UIC in HIV Outreach for Key Populations in Morocco. Gray, R. & Hoffman, L. (2007). Tracking coverage on the silk road: Time to turn theory into practice. The International Journal of Drug Policy, 19S, S15-S24. doi:10.1016/j.drugpo.2007.12.011. Thien Nga, N., Jacka, D., Van Hai, N., Kieu Trinh, N., Boisen, N., & Neukom, J. (2012). Innovative data tools: a suite for managing peer outreach to key affected populations in Viet Nam. WPSAR, Vol.3, No.3, 29-34. doi:10.5365/wpsar.2012.3.2.003. UNAIDS. An introduction to indicators.