hb游戏网站:因为人们可能没有意识到它给出的答案是不准确的

说最新版本的ChatGPT通过了美国放射学委员会的考试，突出了大型语言模型的潜力，但它也给出了一些错误的答案，表明人们仍然需要检查他们提供的答案。

为了评估ChatGPT在美国放射学委员会考试中的表现，并探索其优势和局限性，多伦多大学的研究人员首先测试了基于GPT-3.5的ChatGPT的性能。研究小组使用了150道选择题，这些选择题的风格、内容和难度都与加拿大皇家学院和美国放射学委员会的考试相匹配。这些问题不包括图像，分为低阶(知识回忆、基本理解)和高阶(应用、分析、综合)思维问题。高阶思维问题可进一步细分为影像学表现描述、临床管理、计算与分类、疾病关联。hb游戏网站

研究人员发现，基于gpt -3.5的ChatGPT答题正确率为69%，接近70%的通过率。该模型在回答低阶思维问题时表现相对较好，准确率为84%，但在回答高阶思维问题时表现不佳，准确率仅为60%。表现较好的GPT-4有81%的正确率，在高阶思维问题上有81%的正确率，比GPT-3.5好得多。但在低阶思维问题上，GPT-4的正确率只有80%，回答了12个问题，而GPT-3.5回答了所有这些问题，这引起了研究小组对GPT-4收集的信息可靠性的担忧。

两项研究都表明，ChatGPT有提供错误答案的倾向，如果仅仅依靠它来获取信息，这是非常危险的，因为人们可能没有意识到它给出的答案是不准确的，这是它目前面临的最大问题。