首页 > 新闻资讯内容详情

逢考必过?新版ChatGPT通过美放射学委员会考试 2023-05-18 07:50:00

  【CNMO新闻】说起ChatGPT,想必大家并不陌生,此前很多朋友可能或多或少都被ChatGPT刷屏了,它是由OpenAI开发的一个人工智能聊天机器人程序。仅上线两个月,ChatGPT的活跃用户已经超过1亿人,火爆全球。今年3月份,OpenAI正式发布了其最新一代大型语言模型GPT-4。5月18日,CNMO留意到,加拿大科学家在近日出版的《放射学》杂志上刊登新论文称,最新版本的ChatGPT通过了美国放射学委员会的考试。

ChatGPT
ChatGPT

  据了解,为评估ChatGPT在美国放射学委员会考试题目上的表现并探索其上风和局限性,多伦多大学研究职员首先测试了基于GPT-3.5的ChatGPT的表现。具体来看,研究团队使用了150道选择题,这些选择题与加拿大皇家学院和美国放射学委员会考试的风格、内收留和难度相当。

  对此,研究职员发现,基于GPT-3.5的ChatGPT的正确率为69%,接近70%的及格线。该模型在低阶思维题目上表现相对较好,正确率为84%,但回答高级思维题目时的正确率仅为60%。

  与此同时,性能更优异的GPT-4的正确率为81%,并且在高阶思维题目上的正确率为81%。不过需要留意的是,GPT-4在低阶思维题目上的正确率仅为80%,答错了12道题,而GPT-3.5全部答对了这些题目,这引发了研究团队对GPT-4收集信息的可靠性的担忧。

相关标签: ChatGPT 人工智能

发布评论