在 AI 赋能技能测评大会上的讲话
各位来宾、各位同仁,大家好!
知识和技能是人类文明的两个轮子,获得知识和技能是教育
的两大基本任务。但长期以来,这两个轮子一个大一个小,关于
知识的教学和测评已经相当成熟,但技能的教学特别是技能的测
评明显落后。其表现是:
第一,技能测评主观性很强,客观性不足。同样的技能操作,
不同评委、不同时段、不同情绪状态,可能给出不同结论。疲劳
效应、顺序效应、刻板印象,都会影响评价。
第二,技能的测评基本上是一对一的,难以大规模实施,成
本太高,致使技能教学常常放弃测评环节。
第三,技能的测评过程难以复现。测评往往“看过就过”,
关键动作稍纵即逝,缺乏可回放、可核对的证据链。
在生成式人工智能诞生之前这一困境几乎无法化解。大模型
和智能体技术为解决这一问题提供了前所未有的可能。我们与上
海 人 工 智 能 实 验 室 联 合 开 发 了 智 能 化 技 能 测 评 系 统
(IntelligentAssessmentforSkills,IAS),从根本上解决了这一问
题。
其技术路径如下:
第一步:把复杂技能拆解成若干部分,把真实过程“记下
来”。把复杂的技能拆成一个个能单独完成的小任务;再请行业
专家为每个小任务定出清晰、可操作的评分标准。通过智能眼镜
全面准确地采集数据,系统完整记录学生的实操视频、操作路径、
每一步的时间顺序,为评分奠定可信的基础。
第二步:对照标准“找证据”,给出能回溯的结果。大模型
不只是“看一眼动作”,而是把画面、操作顺序、动作轨迹等多
种信息综合在一起,逐项分析:对照标准生成可回放、可核对的
数据链条。智能体不仅能给出分数,而且能具体指出错误环节和
薄弱点。
第三步:自我学习,自我进化。智能测评具备“自学习”能
力,把每一次测评的记录、专家的打分和行业经验沉淀成知识库;
通过知识库进行自我学习和自我进化。越用越聪明、越评越可靠。
在此基础上,我们与 OECD 合作,面向 PISA-VET,研发了
三