肖恩写道:好的辅导是有效的,但好的导师很难找到。理论上,大型语言模型(LLMs)可以以经济高效的方式满足这一巨大的需求。但他们真的可以辅导吗?如果可以,为谁辅导?2023年11月,我与人合著了一篇文章,预测人工智能可能会对有动力的孩子产生变革,但对没有动力的孩子来说“只是meh”。
2024年4月,我们的朋友劳伦斯·霍尔特在这本书中发表了《5%的问题》,他认为教育技术往往能帮助富人变得更富有——在这里,“富人”是指学术实力强、有动力学习手头主题的人。5月,劳伦斯和我在哈佛大学举行了一次小型人工智能峰会。我们原本希望对我们的论点提出一个很好的反驳,但没有找到任何令人信服的东西。我们仍然希望如此!
7月,我部署了5%中的一员——我16岁的实习生纳什——来评估当前的人工智能对像他这样的“更强壮”的学生有多大帮助。结果超出了我的预期。这是他的故事。然后在最后重新加入我的关键外卖。对我来说,这份方法论和基本原理的总结很有帮助,解释得很好。我更容易记住,你必须将偏差平方,使其夸大,这样你才能更好地了解异常值。然而,这很可能是目前法学硕士辅导中最大的挑战。人类导师的主要目的是教学和激励。
教一个不想学的学生几乎是不可能的。这是人工智能辅导的主要缺点。从一开始,它甚至需要用户输入才能开始会话。如果用户被其他事情分心,或者他们的回答与主题无关,那么就无法进行任何教学(或学习)。我认为LLM对于有动力的学习者来说效果很好,但在用户绝对不想学习的情况下,人工智能导师是无效的,因为它缺乏激励他们的策略。我的学习效率排名,从最差到最好。
在线视频
仅课本
普通教室
克劳德
GPT
然而,效率并不是唯一需要考虑的方面。就我个人而言,我仍然更喜欢在学校学习,而不是自学。因此,即使我理论上可以在两个月内通过AP Stats进行比赛,我也宁愿在学校和同学一起学习。肖恩写道:我是一名国家委员会认证的数学教师,曾在纽约市和芝加哥任教。此前,我曾为一家大型国际教育组织领导数学教学设计,我们的老师为学生取得了显著的数学进步。
考虑到这种情况,以下是我与纳什合作后的印象:1.现在聊天GPT4o——对于霍尔特文章中描述的有动力的孩子来说——比普通的人类导师效果更好。对于那些顶尖的学生,人类导师会介绍一个话题,展示一个例子,学生通常会“理解”。如果没有,他们可能会问导师一两个问题,以实现“完全了解”我认为4o比人类导师稍有优势,因为它可以以有动力的前5%学生的速度工作。
此外,它可以以适合学生的风格详细说明学生需要帮助的任何事情(特别是如果你构建了一个自定义的GPT,就像我们为Nash所做的那样)。最近的一项研究证实了纳什在839名学生中的经历:定制GPT版本的表现优于“基础版本”没有一个人类导师能像最先进的法学硕士那样快速或多才多艺,只要他们得到的提示清晰具体。。正如Dan Meyer所写,“伟大的教师……不会等待学生对他们教学的需求自然出现。
他们认为创造需求是他们的工作。”当我看到纳什与人工智能导师互动时,这种需求自然存在。他对某事很好奇,或者需要帮助解决问题,所以他问4o。这有助于他向前迈进。他不需要老师来激发他的动力。我注意到纳什与4o的互动具有交易性,这会让一些教育工作者感到不安。观察他自学标准差,我觉得有必要问他一些“检查理解”的问题,既是为了促进他的理解,也是为了让作为一名教师感到有用。
我们的讨论确实增进了他的理解,但并不是必不可少的。纳什很好。我可以想象,5%的有动力的孩子真的很喜欢与法学硕士的互动——有机会在任何时候、任何深度地就一个话题来回交流。到目前为止,一切顺利吗?3.也许你已经直觉到了这个巨大的警告。人工智能解决问题,即使被定制为更像一个真正的导师,对绝大多数学生来说也不起作用。
我认为,对80%的人来说,这比典型的人类导师更糟糕,对15%的人来说也是如此,对5%的人来说更好。这与霍尔特的论点和迈耶的批评精神是一致的。法学硕士不仅不能轻易地激发学生的兴趣或动机,他们的乐于助人可能会产生意想不到的后果。当我问纳什,他的一些同龄人是否会把法学硕士作为“答案提供者”时,他只是笑了;他们当然会。(作为一名前高中教师,我应该更清楚。
)我之前引用的那项随机对照试验有一个奇怪的发现支持了这一点:学生高估了人工智能对他们学习的帮助,而不是给出答案。他们过于依赖它,把它拿走会损害他们相对于对照组的表现。4.我认为,如果纳什今年只与GPT4o合作,作为他在AP州的导师,而不是在高中上课,他只需六周的努力就能在考试中取得满分5分。相反,他会上30周的课,最终可能会得到同样的分数。重要的是,纳什不想走更有效的路线。
他喜欢高中——他的朋友,上课的经历,发生的讨论。他喜欢他的老师和社会上的友情。那么,急什么呢?5.然而,我不禁想知道一些事情。a.如果可以选择,有多少5%的学生会选择不参加荣誉课程和自定进度的GPT课程?b.如果纳什可以和一些朋友一起与GPT4o互动,而不是和老师一起上普通的AP Stats课,他会选择人工智能导师吗?c.这样会好多少?
已经有人声称,新的进步使几个月前的人工智能工具看起来像是史前时代的。自从Nash和我一起工作以来,OpenAI发布了两个主要更新——语音模式和“o1-advanced”,这两个都是我在与Nash合作时使用的。但我们以前来过这里。教育科技浪潮来了又走了,根据经验,我们已经看到,这些好处主要是给纳什这样的孩子带来的。
即便如此,我对4o作为一名家教所能做的事情印象深刻,这比我见过的孩子们互动过的任何其他科技产品都要深刻。在一对一的环境中,它作为导师的上限相对高于可汗学院的资源或Zearn或我见过的任何其他学习平台。专业的人类导师仍然有优势,但他们很难找到,而且很贵。如果ChatGPT4o和克劳德对纳什的表现超出了我的预期,下一个惊喜会是什么样子?劳伦斯·霍尔特和我可能需要在2025年更新我们的人工智能预测。