职业能力测评 职业院校学生 北京师范大学 职业与成人教育研究所所长 电话:010-58800703 赵志群 教授 北京师范大学 职业与成人教育研究所所长 电话:010-58800703 邮箱:zhiqunzhao@263.net
学业成果质量监测 学校内部的教学质量评估达不到大规模质量监控的信度 和效度要求,无法藉此进行校际间和区域间比较; 学校内部的教学质量评估达不到大规模质量监控的信度 和效度要求,无法藉此进行校际间和区域间比较; 我们既要获得大量深入和有效的数据,又不能引发过多 的经费和时间投入; 如果开展大规模的技能测试,无法解决成本高、评分者 间信度低和试题效度低的技术难题; 必须建立一个解释模型,对评估结果和人才培养模式之 间的关系进行科学的分析; 关键是:评估工具的开发。
为什么要开展职业能力测评? 科学的职业能力测评,可以评估诊断学生的职业能力和 职业认同感的发展水平,从而对不同地区、不同院校、 不同班级间的教学质量进行比较; 可以获得人才培养质量的准确信息和重要参数,为各级 政府制定政策提供依据; 可以提高职业教育体系设计和教育质量控制水平,为 “建立能够迅速提醒决策者及时纠正任何不利趋势” (PISA定义)的质量保障机制奠定技术基础; 关键是职业能力测评模型、测评实施方案开发以及测评 结果分析。
参照系:普通教育的能力测评(PISA) 由OECD(世界经济合作组织)组织的“国际学生评价项目”(Programme for International Student Assessment, PISA); 以纸笔测验测试15岁学生的阅读能力、数学能力和科学能力; 每三年举行一次,每次测试的重点不同; PISA的口号:评价学生现实生活和终身学习(职业工作和生涯发展)所必须的知识和技能 ; 不是测试学生掌握了多少学科知识,而是测量学生能否在实际生活(工作)的情境中创造性地运用知识和技能解决问题的能力。
职业能力测评的困难 国家、地区之间的差异太大 职业教育的职业(专业)太多 技术更新太快 科学的职业能力测评案例较少
已经开展的工作 建立了职业能力测评(large-scale diagnostics)的理论模型和测评模型,并按照教育测量学要求经过了测评技术的验证; 在不同层面(省级、地方、行业等)进行了汽车维修、电气技术、护理、数控技术、土木建筑类专业的测评; 得到了职业院校的广泛认可; 与德国、瑞士、挪威、南非等国开展了国际合作测评研究和实践,具有一定国际影响。
小知识:技能与能力的区别 技能是从事一项工作所必需的客观条件,人是技能的载 体并通过接受学习培训获得技能; 能力是特定领域的“心理认知特征和发展潜力”,能力 获得是人格发展的组成部分,能力的应用是开放的; 职业能力是个体当前就业和终身发展所需的能力, 是理 解、反思、评估和完成职业任务以及在承担社会、经济 和生态责任的前提下,共同参与设计技术和社会发展的 能力。
职业能力测评方案的研发 职业教育的 培养目标 (指导思想) 职业能力模型 与 测评模型 测试题目 与 评量分析方式 KOMET项目 能力内容维度 (学习范围) 行动维度(完整的行动过程) 能力要求维度(能力水平) 设计能力 初学者任务 者任务 高级初学 任务 提高者 能手的任务 控 制 实 施 决 策 计 划 获取信息 评 价 过程性能力 功能性能力 名义能力 综 合 职 业 能 力 专业能力 专业之外的能力 方法能力 社会能力 关键能力 KOMET项目
职业能力测评的理论基础 职业教育的 能力模型 对职业能力的认识 职业承诺 与 职业认同感 职业能力 发展理论与 学习理论
相关的职业教育理论 设计导向的职业教育指导思想 (德RAUNER 1995; HEIDEGGER/ADOLPH/LASKE 1997); 行动导向教学 (原苏联,德BADER 1989; CZYCHOLL/EBNER 1995); 发展性任务理论 (美HAVIGHURST 1972); 职业教育的发展性结构课程 (美BENNER 1997); 从初学者到专家(from novice to expert)的范式 (美DREYFUS/DREYFUS 1986) ; 工作过程知识(德,英 BOREHAM/SAMORCAY/FISCHER 2002; FISCHER/ RAUNER 2002; KRUSE 1985); 我国的职业教育课程与教学实践。
三维职业能力模型 能力要求维度(能力水平) 能力内容维度 (学习范围) 行动维度(完整的工作过程) KOMET项目 设计能力 过程性能力 功能性能力 定向任务 程序任务 问题任务 未知任务 名义能力 新手 生手 熟手 能手 专家 获取信息 能力内容维度 (学习范围) 计 划 决 策 实 施 控 制 评 价 行动维度(完整的工作过程) KOMET项目
职业能力发展的基本规律:从初学者到专家 (R.J. Havighhurst, H.Dreyfus/S.E.Dreyfus, F. Rauner) 学习范围 典型工作任务 活动特点 初学者/新手 定向和概括性知识 职业定向性任务 在外部指导下的活动 生手 程序性任务 关联性知识 基于规律的系统化行动 熟手 具体与功能性知识 蕴含问题的特殊任务 知识指导下的行动 能手 学科系统化深入 知识 无法预测结果的任务 理论与经验共同导出的行动 专家/高手
综合职业能力测评的维度(评价指标) 功能性能力 过程性能力 设计能力 名义能力 直观性/展示 功能性 经济性 使用价值 导向 企业流程/经营过程和工作过程导向 环保性 创新性 社会接受度/社会责任感 风险人群 要求维度:能力水平 KOMET 2009
综合职业能力指标的含义 能力指标 含 义 直观性/展示 功能性 使用价值导向 经济性 企业生产流程和工作过程导向 社会接受度 环保性 创新性 含 义 直观性/展示 要求学生通过语言或文字描述,利用图纸、草图等工具,形象直观地、条理清楚、结构合理地展示任务解决方案,使委托方知晓任务完成后的结果。 功能性 要求学生提出的解决方案能满足任务要求,实现应有的功能。为此,需要学生具备工具性的专业能力、与具体情境无关的学科知识以及专业技能。 使用价值导向 要求学生完成工作任务的行动过程始终以顾客为导向,除了满足用户的直接使用要求和减少使用中的故障外,还要考虑后期保养和维修的便利性,以及解决方案的持久性和扩展性。 经济性 要求学生能够将解决方案放到整个工作环境中去考察它的经济性,权衡支出与收益之间的关系,并考虑未来可能产生的后续成本;此外,需要关注国民经济发展宏观态势,具有经济责任感。 企业生产流程和工作过程导向 要求学生提出的解决方案能考虑与上下游过程之间的衔接,还考虑跨越每个人的工作领域的部门间的合作。 社会接受度 要求学生进行人性化的工作设计,考虑那些超越工作本身的社会因素,如考虑劳动安全、事故防范以及解决方案对社会环境造成的影响等。 环保性 要求学生在解决方案中遵守环保对生产过程和生产结果的特定要求,考虑解决方案在多大程度上使用了对环境无害的材料,以及完成工作的计划多大程度上符合环保要求;此外,在解决方案中应考虑节约能源和废物回收与再利用。 创新性 要求学生对问题情境有足够的敏感性,在完成任务目标的前提下表现独特的设计空间。
成功职业学习的条件: 完整的工作过程 明确任务/获取信息 制定计划 做出决策 实施计划 检查控制 评定反馈 德国联邦职业教育研究所
职业认同感、职业承诺与工作道德 职业承诺是指由于个体对职业的认同和情感依赖、对职业的投入和对社会规范的内化导致的不愿变更职业的程度 职业承诺 Occupational Commitment 职业认同感 Vocational Identity 组织承诺 Organisational Commitment 职业承诺是指由于个体对职业的认同和情感依赖、对职业的投入和对社会规范的内化导致的不愿变更职业的程度 工作道德 Work Ethics F. Rauner
汽车维修专业测试题目 冬季检查 情境描述 一顾客想在冬季从北京开车到五 台山,他要去的地方在海拔1800米, 情境描述 一顾客想在冬季从北京开车到五 台山,他要去的地方在海拔1800米, 当地温度最低可至零下28度,按当地规定,轮胎必须加装防滑链。 顾客的车辆是一部丰田花冠轿车,使用了将近3年,行驶里程已达38000公里,但从未进行过长途行驶。该车必须在完成此次旅行后,进行一次全面检查。 顾客希望自己的轿车在旅途中万无一失。因此,顾客想先为车辆做一次冬季检查,您负责检查此车。 任务 请制定一份详实的与顾客沟通和完成此次检查任务的解决方案,并全面而细致的说明采取此方案的理由。
职业能力测试题目的特点 来源于职业及企业工作实践的现实问题; 是职业的典型工作任务,反映相关培养目标; 有不同深度和广度的答案,为被测学生留出较大的回旋余地; 答案范围涉及广泛,除掌握专业能力之外,还涉及广泛的职业素养,如需要考虑经济性、使用价值、社会责任感和环境保护等因素; 采用纸笔方式制定解决专业问题的规划和方案; 被试者用本职业的专业方式解答问题,记录解题过程和结果,并说明理由; 考察的重点是:实践性知识。
知识的组成 ——工作过程课程的工业心理学基础 与情境相关 的,实践为导向的,明确的 工作过程知识 知识 与情境无关的,学科系统化的,为实践辩护的 客观的 与情境相关的,不明确的, 指导和反思实践的 主观的 实践性知识 理论知识 从经验到知识 从知识到能力 参见F. Rauner,经允许后有改动
工作过程知识的层次 功能性 外形 创造性 (展示/直观性) 经济性 (效益) 社会 接受度 持续性 环保性 (使用价值) 工作过程与 生产流程 Felix Rauner
能力测评评分表 KOMET项目 版本 10.08.2008 任务: 编码: 评分人姓名: 日期: (1) 直观性/展示 对委托方来说,解决方案的表述是否容易理解? 对专业人员来说,是否恰当地描述了解决方案? 是否直观形象地说明了任务的解决方案?(如:用图表/用图画)? 解决方案的层次结构是否分明? 描述解决方案的条理是否清晰? 解决方案是否与专业规范或技术标准相符合?(从理论、实践、制图、数学和语言) (2) 功能性 解决方案是否满足功能性要求? 是否达到“技术先进水平”? 解决方案是否可以实施? 是否(从职业活动的角度)说明了理由? 表述的解决方案是否正确? (3) 使用价值导向 解决方案是否提供方便的保养和维修? 解决方案是否考虑到功能扩展的可能性? 解决方案中是否考虑到如何避免干扰并且说明了理由? 对于使用者来说,解决方案是否方便、易于使用? 对于委托方(客户)来说,解决方案(如:设备)是否具有使用价值? (4) 经济性 实施解决方案的成本是否较低? 时间与人员配置是否满足实施方案的要求? 是否考虑到企业投入与收益之间的关系并说明理由? 是否考虑到后续成本并说明理由? KOMET项目
被测学生得到的结果案例
汽车维修专业测评结果 综合类高职院校 交通部所属高职院校 广州技师学院 KF = 功能性能力,KP=过程性能力,KG=整体体设计能力 K1=直观性和展示性,K2=功能性,K3=使用价值导向,K4=经济性,K5=经营过程/生产流程与工作过程导向,K6=社会接受度/社会相容性,K7=环保性, K8=创造性 广州技师学院
重庆市中职学校校际间的比较(汽车维修专业)
瑞士(2013和1014年)、西班牙、德国、挪威、波兰和瑞士2013年的测评数据对比(多为高职)。 尺正明信
职业能力预测效度检验(护士执业资格考试) 职业能力测评成绩与护士执业资格考试总成绩以及专业实务科目成绩显著相关 预测效度检验 护士职业能力测评成绩 护士执业资格考试总成绩 专业实务科目的成绩 护士执业资格考试总成绩 专业实务科目的成绩 职业能力测评总分 相关性 0.223* 0.269** 显著性 0.021 0.005 **在0.01水平(双侧)上显著相关。*在0.05水平(双侧)上显著相关。
下一步需要开展的工作 开发新专业的测试题目和解题空间; 进行相应的预测试、评分和题目修正; 澄清测评工作的组织方式和流程; 建立相关的技术平台和支持系统; 开展相关的培训; ……
阅读材料 劳耐尔,赵志群,吉利. 职业能力与职业能力测评,清华大学出版社, 2010; 庄榕霞,赵志群等. 职业院校学生职业能力测评的实证研究. 清华大学出版社, 2012; 赵志群, Rauner, F. (eds.). Areas of Vocational Education Research. Heidelberg, New York et al.: Springer, 2014. 赵志群. 职业教育工学结合一体化课程开发指南,清华大学出版社, 2009; Martin Fischer, Felix Rauner, 赵志群. Kompetenzdiagnostik in der Beruflichen Bildung: COMET auf dem Prüfstand. Münster: LIT. 2015 赵志群,何兴国,沈军,张志新.产出导向的职业教育质量监控——职业院校的职业能力测评案例. 中国职业技术教育, 2015年第9期: 5-13 张志新, 赵志群. 职业教育教师职业能力测评研究现状与展望. 中国职业技术教育, 2015年第12期: 63-67. 赵志群. KOMET-China: Die Schritte auf dem Weg zu einem nationalen Schlüsselprojekt der Qualitätssicherung. ZBW.110 Band, Heft 3(2014): 442-448 赵志群,林来寿,张志新. 高等职业教育课程改革学习效果评价:一项实证研究. 国家教育行政学院学报, 2014/7: 74-79 赵志群. 职业能力研究的新进展.职业技术教育.职业技术教育.2013(10):5-11; 赵志群,庄榕霞. Messen beruflicher Kompetenz von Auszubildenden und Studierenden berufsbildender (Hoch)Schulen in China. ZBW.109 Band, Heft 1(2013): 132-140. Rauner, F.; Heinemann, L.; Maurer, A.; Haasler, B. (2012): Competence development and assessment in TVET (COMET): Theoretical Framework and Empirical Results. Berlin: Springer, 2012.
感谢大家! Thank you for your attention!