专题研究
职业教育中聊天机器人激发学生学习兴趣的
技术干预实验
摘要:教育新技术对于提高学生的学习兴趣具备良好优势,但其对学生的可持续性影响
和总体影响,到目前为止尚不明朗。通过干预实验可以验证教育新技术对学生完成学习任务和对课程兴趣的长期影响效果。本实验以某职业院校学习外语的学生为样本,分别通过与真人对话和与聊天机器人对话,对学生前后连续的学习任务和课程兴趣进行测量,用以评估不同伙伴效应和课程兴趣的发展轨迹。结果显示:与聊天机器人互动后,学生的学习任务兴趣显著下降;只有与真人伙伴互动,初始学习任务兴趣才对后续课程兴趣的发展产生影响,而聊天机器人却无法具备这样的功能;在与聊天机器人互动完成了第一个任务后,新奇效应产生,但学生的学习兴趣随即下降。研究建议,教育新技术的干预需要与学生的学习任务情境设定相结合,才能提高学生的学习兴趣和可持续的学习动力。
关键词:职业教育;聊天机器人;技术干预;学习兴趣;新奇效应中图分类号:G710
文献标识码:A
文章编号:1674-9154(2024)01-0044-08
要想胜任任何领域的工作,关键在于坚持不懈。已经有广泛的理论对如何实现这种持续性进行了建模,[1]培养学习者对该领域的兴趣是主要方法之一,这一方法也得到了两项研究和常识的支持,[2]因此,激发学生的学习兴趣是每一位教育工作者的首要任务。
如何最有效地激发兴趣,有两种方法值得关注,一是感知价值的作用;[3]二是学习任务的作用,[4]包括任务的兴趣水平和难度水平,[5]如何在外语学习中持续保持学习兴趣一直备受关注。[6]与语言学习和通识教育领域相关的研究,都集中在技术工具如何增强学习动机继而提高学习潜力上。当前职业院校也正在探索人工智能的技术干预手段,一种被广泛认为的可以增强学生语言学习潜力的强大技术工具就是聊天机器人,[7]能够将在线空间转变为连贯和可用的学习空间。[8]聊天机器人是一种软件化身,虽与真人对话的能力有限,但正在不断
增强。[9]然而,目前与技术干预相关的研究认为,新奇效应可能会掩盖技术干预的真实影响。[10]聊天机器人作为一种学习工具,对于提高职业院校学生语言课程的兴趣究竟具备多大的潜力,与此相关的研究甚少。本研究在职业院校语言教学的情境下,进行了实验研究,以比较聊天机器人和真人伙伴对任务兴趣和后续课程兴趣的影响,对兴趣发展进行建模时,使用了任务兴趣、课程兴趣和领域兴趣的框架。[11]
一、相关文献综述(一)兴趣发展
兴趣作为一种心理建构,对其研究由来已久,从哲学到心理学,再到它对阅读的强烈的经验影响。人们早就认识到,至少有两种不同类型的兴趣:情境和个人。对这两种兴趣类型的识别随着时间和研究人员的不同而有所不同,但均被认为是早期阶段暂时且主要的影响。这个早期阶段也可分为
作者简介:喻葵(1971—),东华大学旭日工商管理学院,讲师,研究方向:教育心理学。
收稿日期:2024-10-23
44
当代职业教育/2024年第1期
萌发的情境兴趣和稳定的情境兴趣,[12]之后会有一个更持久的包括附加价值和认识论的阶段。[13]一个被广泛使用的理解兴趣发展的框架是兴趣发展的四阶段模型,[14]包括:激发的情境兴趣,维持的情境兴趣,萌发的个人兴趣和稳定的个体兴趣。这个模型从最初激发兴趣的话题触发情境兴趣开始,如果兴趣持续增强,那么激发的情境兴趣就发展到维持情境兴趣的第二阶段,继而进入到萌发的个人兴趣和稳定的个人兴趣阶段。
兴趣发展的四阶段模型为教育工作者提供了一条广阔的道路,即学习者可以从最初的激发兴趣到对某一研究领域持续的个人兴趣。研究人员强调每个阶段的长度是可变的,个人的兴趣发展也可能随时停止。[15]教学环境通过一系列新颖的社会活动来激发情境兴趣。在剩下的三个阶段中,兴趣的维持和增强主要包括支持个人参与以及发展知识领域的价值。
(二)教育中的兴趣发展
当重点是理解大学特定的课程兴趣发展时,有人提出了三个层次兴趣发展的框架。[16]第一个层次涉及代表学习具体任务的讲座、小组项目、独立阅读、观看视频和做实验;第二层次与学生对课程本身的兴趣有关;最后一个层次是他们对更广泛研究领域的兴趣。一些初步的有关兴趣发展的研究表明,课程兴趣在学生的任务兴趣和领域兴趣之间起中介作用。如果职业教育想要鼓励学生继续在某领域深造的话,激发和维持学生的课程兴趣就变得尤为重要。从本质上说,这些结果表明学习任务很重要,因为它们直接培养了人们对课程的兴趣,而这些课程又会直接影响人们对该领域的兴趣。因此,有必要对能激发和维持兴趣的学习任务的特征展开进一步研究。
(三)激发学习兴趣的技术——聊天机器人长期以来,人们一直认为科技的日益普及虽极大地改变了我们对教育的理解,但并不总是以我们预期的方式。[17]几十年前,未来主义者指出了我们在一个充满全能计算机的世界中,掌握技能至关重要;而另一些人则强调蓬勃发展的建构主义运动才真正关乎任何年龄段的学习。[18]在人工智能领域,
专题研究
对智能导师的关注正稳步增长,并成为最明显的趋势,智能导师能够扮演的角色处于人机交互的前沿。源于计算机辅助教学的智能教育,其早期尝试的最初目的是预测而不是与学习者互动。自从首次尝试计算机辅助教学以来,许多教育研究人员与技术专家合作,不懈地探求智能教育。智能导师将继续以虚拟导师和教练的身份存在于虚拟环境以及基于游戏的学习中。早期的研究指出,“栩栩如生”的智能导师会对学习者感知的学习环境产生积极影响。[19]这些技术干预手段的稳步发展,加上对其有效性的研究,既为它们广泛的积极作用提供了支持,也有助我们清晰地理解它们是如何支持学习的。研究人员在这一领域的重点研究已经证明,当以演讲的形式向学生解释物理问题时,智能导师比屏幕上的文本更有效。[20]此外,研究还发现,即便再聪明的导师,其视觉表征亦无法支持学习成果的提高。最近的现象学和实验研究探讨了会话型和教学型智能导师,提出了一组其与真人进行视觉交互时所产生的更实质的问题,[21]这些问题已经超出了将智能导师视为有益的技术工具的范畴,相关议题更是涉及了人类该如何与智能导师进行互动并进行有意义的交流。
从支持学习到可与真人交流的智能导师的出现,开启了其在职业教育领域应用的可能性。英国开放大学教育技术研究所发布的《2024年学习趋势报告》认为采用视频游戏的形式能够使人们在动态的、交互的环境中实践现有的技能和知识,从而提高人们解决问题的技巧并学习新技能。[22]尽管技术提供的视听支持对所有教育都很重要,但与智能导师进行会话交互是技术对职业教育的潜在核心贡献。人们普遍认为,要进行有意义的职业教育,大量的可理解的职业培训和练习是必不可少的。例如,在整个亚洲,以英语为母语的人很少,这就使得辅助学生进行反复练习的技术工具显得格外重要。学生们普遍报告说,在学习任务中使用聊天机器人的好处是能获得激励。[23]早期的基于以文本为交流方式的研究表明,与真人相比,许多学生更愿意与聊天机器人一起尝试新的语言。然而,对聊天机器人的进一步研究则指出,这种互动时的文本属
当代职业教育/2024年第1期
45
专题研究
性限制了聊天机器人的实用性。[24]除了实用性的问题,研究人员还强调了基于文本的聊天机器人作为会话伙伴时的不真实性。尽管存在这些问题,早期的和最近的有关与基于文本的聊天机器人进行交互的研究依然指出了其潜在的好处,尤其是在激发用户动机方面。[25]解决该问题的技术方法即是使用聊天机器人或智能导师进行会话练习,这是一种能够与感兴趣的人进行会话的在线软件。已有研究表明,目前的聊天机器人已继续改进,因为它们与全球感兴趣的人们展开“全天候”的基于网络的交互,并能够从中自我学习。[26]
职业教育中使用有声聊天机器人进行交互的需求日益增长,由此开辟了与聊天机器人交互学习的可能性。人们通过泛在的电子设备,可以直接与聊天机器人对话,而聊天机器人也能通过文本或音频以引人入胜的方式做出回应。这些聊天机器人在职业教育中如何更好地拓展学生潜在的语言交流能力仍在不断完善中。聊天机器人除了具备语言练习能力,还可能在激发学生语言学习兴趣方面发挥作用。然而,聊天机器人在语言学习中是否成为学生有效的互动伙伴,仍值得讨论,需要明确潜在的新奇效应是否混淆了对其增强动机的评估。当技术的简单新颖导致动机或效果的提升时,就会出现新奇效应。新奇效应在教育技术研究中有着相当长的历史,早在20世纪60年代就已被承认,并在最近的文献中常被提及。为了避免简单的新奇效应,需要延长足够的研究时间以对技术的持久效应进行评估,减少潜在的新奇效应。因此,在任何新奇效应减弱之后,持续较长时间的实验是评估聊天机器人有效性的方法。这样,可以更精准地确定,在职业教育领域技术干预的创新所具备的优势。
(四)职业教育中学生英语学习兴趣的现状全球范围内在职业教育机构学习英语的人数正在急剧增加。一般职业院校学生的英语基础比较差,英语学习动力不足,传统课堂授课效果不佳。已有调查显示,高职学生中有27%对英语比较有兴趣,41%对英语兴趣一般,20%对英语没有兴趣。同时,学生喜欢更现代的教学方式,有63%的学生认为教师采用多媒体教学“比传统教学效果好”,
46
当代职业教育/2024年第1期
同时他们认为学习环境对学习英语也很重要,高达38%种活动来提高学生的英语学习兴趣和水平。的学生认为学校和教师从来没有组织和开展各[27]在终身教育和智能化时代,职业性与教育性的融合是推动职业教育的发展助力,[28]为了提高职业院校学生应用英语的技能,激发对英语学习的兴趣是方法之一,技术干预形式的聊天机器人通过模拟口语会话与学生互动是否行之有效?这些都支持本研究测试聊天机器人在职业英语教育中的潜在作用。
本研究在某职业院校开展了为期12周的语言课程中,对聊天机器人激发学习兴趣的有效性进行了实验测试,并在控制条件下让真人伙伴完成同样的任务,使用的聊天机器人能够从与真人对话中自我学习,并可以利用过去的互动来决定未来的问题和答案。根据以往的相关研究,它是一个语法清晰的对话者,并能有效地激励学习外语的普通学生进行交流。[29]
二、研究过程(一)研究目标
本研究目标,一是考查在某职业院校聊天机器人和真人伙伴的情境下,学生对口语任务的兴趣差异;二是学生与不同伙伴(聊天机器人和真人)互动后任务兴趣对课程兴趣的长期影响。任务兴趣和课程兴趣的相关文献已在本文的第一章节中阐述。使用平衡设计(组1,以下简写为“G1”:聊天机器人/真人,G2:真人/聊天机器人),一周后对不同的伙伴重复同类型的口语任务。在为期12周的英语课中,每隔三周重复这个过程,并再做两个新口语任务。本实验还调查了学生与不同伙伴(聊天机器人和真人)互动后任务兴趣对课程兴趣的长期影响。
根据过去的研究,最初学生在与新奇的聊天机器人互动口语任务时可能比和真人更感兴趣。[30]因此,为了减少对聊天机器人的新鲜感,本研究开始之前首先给所有参与的学生一个熟悉并体验聊天机器人的机会。本研究拟解决的问题有:
(1)如果聊天机器人在特定的语言学习任务中是一个有效的互动伙伴,则与聊天机器人和真人伙伴的互动对学生的课程兴趣产生长期影响,因此提
出假设,与聊天机器人和真人伙伴进行互动时任务兴趣将对学生的课程兴趣产生影响;(2)平衡设计中的聊天机器人/真人、真人/聊天机器人是否存在顺序效应;(3)学生与聊天机器人、真人伙伴互动后任务兴趣是否存在差异。
(二)研究方法1.本研究是在上海一所职业院校的一年级和二年研究样本
级英语作为外语必修课中进行的。来自五个学院的122院呈正态分布,其中女生占比名学生参与了这项研究。这些学生在不同的学53.6%,所有学生的学分成绩相差不大。参与的学生每周上两节课。所有参与的班级使用统一的课堂材料、在线学习作业以及考核方式。
2.本研究使用了两个李克特量表:课程兴趣和任研究工具
务兴趣。需要对所有问项进行从1=“完全不像我”到6=“完全像我”的评分。课程兴趣量表由四个问题选项组成,如“我全身心地投入到这门英语课中”和“这门英语课很有趣”。任务兴趣量表由“这个学习任务对我个人来说是有意义的”和选项组成。这两个量表在之前的研究中已被使用,结果显示具有很强的收敛性、发散性效度和信度。[31]
本研究的Cronbach'salpha结果见表1。
表1任务兴趣和课程兴趣相关性和描述性统计
任务12345678兴趣1聊天机器人T12真人T13聊天机器人T20.774真人T20.7750.750.74聊天机器人T3真人T3
0.750.74课程60.740.790.850.740.850.700.840.740.75兴趣78T1T20.69均值0.520.560.59标准差3.850.393.750.530.593.720.460.583.350.460.553.750.553.370.704.103.96Cronbach'salpha1.040.931.170.971.190.961.350.961.220.961.280.961.060.931.060.94专题研究
3.在本研究中,所有样本被随机分为两组。在研研究设计
究开始的三周前,研究人员向学生们介绍了聊天机器人技术。三周后(时间-1,以下简写为“Time-1”),一半的学生(G1)用平板电脑和聊天机器人伙伴完成了一项事先准备好的口语任务(任务1,以下简写为“T1”,A部分,以下简写为“Pa”),一周后另一半的学生(G2)和真人伙伴完成了口语任务(T1,Pb)。在任务结束时,学生们被要求完成任务兴趣量表,第一次课程兴趣量表在T1结束后进行。
最初的口语任务完成后的三周即Time-2,重
复此过程,并执行新的口语T2(Pa,一周后Pb后)Pb。三周后的),在完成最后的口语任务后立即重复课程兴Time-3,学生完成T3(Pa,一周趣量表。三个口语任务均是沿用英语课程已有安排,没有特别设定,图1是本研究的设计。
T0
三周
T1
一周
三周
T2一周
三周
T3一周
G1
Pa
G1Pb
PaPb
PaPb
聊天机器人聊天机器人真人G1
聊天机器人G1真人G1
聊天机器人G1真人小规模实验N=61N=122
G2真人G2N=61聊天机G2G2真人聊天机G2G2真人聊天机器人器人器人任务任务任务任务任务任务兴趣
兴趣兴趣
兴趣
兴趣
兴趣课程课程兴趣
兴趣
图1研究设计的测量顺序
三、研究结果(一)顺序效应检验
方差用于分析顺序效应,即在平衡设计中两个程序的Pa都是聊天机器人或真人伙伴的效应。聊天机器人〔G1,Pa:M=3.67,G2,Pb:M=3.88,F3.85(1p>0.05,,120〕G2,,)T1Pa=1.03的任务兴趣得分无显著差异。同样,
:M=3.91,p>0.05,〕或真人〔F(1,120G1),=Pb0.1035:M=,T2和(T3二)描述性分析
也没有明显的顺序效应。
表1总结了每项任务兴趣和课程兴趣的相关性、描述性统计和Cronbach'salpha值。在Time-2和Time-3,除聊天机器人情境外,所有均值都在
当代职业教育/2024年第1期
47
“我喜欢在这个学习任务中学习英语”等五个问题专题研究
范围的中点(3.5)以上,表明大多数学生对任务感兴趣。所有量表的信度都远高于0.70的一般可接受值。
(三)聊天机器人与真人伙伴任务兴趣的差异在Time-1、Time-2和Time-3,对每个聊天机器人和真人伙伴情境下Pa和Pb任务兴趣得分组合后,进行3×2矩阵混合方差分析(见表2)。三个时间点上,聊天机器人〔F(1,241)=17.443,p<0.05p<0.05〕和真人伙伴情境下〔〕存在显著差异,说明时间和伙伴情境〔F(1,241)=4.034,1,241)=6.02,p<0.05〕存在交互效应。两两测F
试以确定交互效应的方向,表2显示在Time-1,真人和聊天机器人伙伴情境下的任务兴趣均值没有显著差异,但在Time-2和Time-3,真人伙伴情境下的任务兴趣均值显著高于聊天机器人。在真人伙伴情境下,三个任务兴趣均值没有显著差异。聊天机器人伙伴情境下,Time-1的任务兴趣均值显著高于Time-2和Time-3,后两者之间则没有显著差异。
表2三个时间点任务兴趣的均值及两个伙伴情境
任务兴趣
时间聊天机器人
真人汇总Time-1Time-23.75a
3.85aa
Time-33.35b3.37b3.72a3.75a3.533.80b3.56b汇总
3.54b3.81a
注:采用Bonferroni校正进行两两测试的多重比较。相同上标的均值没有显著差异。
(四)测量模型
本研究建立了结构方程模型以检验任务兴趣随时间的变化对课程兴趣的影响。被测试的模型只包括三个任务兴趣得分中的两个。考虑到T2和T3的得分没有显著差异(见表2),且T3的Pb任务得分与最终的课程兴趣测量是在同一时间记录的,因此使用T2来构建纵向模型。考虑到样本量较小,只考量以下三个统计数据,CFI=0.91,SRMR=0.061,卡方检验=668.05(自由度=320,p<0.001)。RMSEA=0.095据以往对较小样本量的结果评估,其被排除为有效
符合预期,模型拟合度可接受,根拟合指数,完整的模型(见图2)。除了聊天机器48
当代职业教育/2024年第1期
人伙伴情境下T2的任务兴趣与T3的课程兴趣之间关系以外,所有检验的假设关系均显著(p<0.01境之间存在显著的交叉滞后效应。在)。图2中,从T1到T2,聊天机器人与真人情T2的情境中,只有真人伙伴的任务兴趣显著影响T3的课程兴趣。T1的课程兴趣影响后续T3的课程兴趣,假设成立。
T1三周T2三周
T3
任务兴趣
(聊天机器人)
0.39任务兴趣(聊天机器人R)
2=0.650.330.29任务兴趣任务兴趣0.46
(0.46
课程兴趣(真人)
R真人=0.63
)2R2=0.49
课程兴趣
0.61
显著中度轻度不显著,p<0.05
图2在聊天机器人和真人伙伴情境下,任务兴趣对T3课
程兴趣影响的路径系数
注:所有路径系数均为β;虚线箭头表示不重要的路径系数p<0.05)。
四、研究讨论
本研究是针对上海一所职业院校的英语口语任务所展开的纵向实验比较。在分别与真人和聊天机器人伙伴互动的口语任务中,设计了3×2矩阵的混合任务兴趣测量,与聊天机器人互动后任务兴趣显著下降。这种下降发生在第一个任务和第二个任务之间,这表明当与聊天机器人互动时,产生了新奇效应。这种效应在与真人互动时不会发生。对整个研究模型的路径系数分析表明,结合最初的课程兴趣,与真人而不是聊天机器人互动时方能激发并持续任务兴趣,并对后续的课程兴趣有显著的影响。
本研究测试了职业院校学生进行口语任务时,与聊天机器人和真人伙伴的互动情境对刺激和维持兴趣的干预作用,得出了两个主要结论。第一,新奇效应是本研究中技术增强学习任务时出现的一个重要问题;第二,对于激发任务兴趣,技术显然是成功的,但也可能只是新奇效应,因此可能无法促
((