梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
除了OpenAI自己,居然还有别人能用上GPT-4-Base版??
也就是未经微调的预训练版,还不会对话聊天,只会补全句子的模型。
EPFL(瑞士洛桑联邦理工)团队申请到了访问权限,用于研究“上下文学习足以让大模型跟随指令吗?”。
预训练模型,究竟能不能一步登天,直接改造成聊天机器人或AI助手?
如果可行,将大大降低类ChatGPT大模型的开发难度。
免微调对齐靠谱吗?
免微调对齐,让刚出炉的预训练模型不止会“文本补全”,只从提示词中学会和用户对话、跟随指令,一直是业界关注的研究方向。
目前的SOTA方法URIAL来自艾伦研究所,使用系统提示词+少数风格示例就能达到不错的效果。
但EPFL团队发现,URIAL仍无法完全弥补与指令微调模型的差距,尤其在多轮对话中的表现更差一些。
实验中,在Llama系列、Mistral系列和一般人接触不到的GPT-4-Base都观察到这种现象。
其中GPT-4-Base的API访问权限从OpenAI Researcher Access Program项目中申请到。
EPFL团队从这里出发,尝试了各种办法来提升上下文学习的效果。
首先他们增加示例的数量,但发现帮助不大,没有随着例子数目增加性能就提升的趋势。这一点跟图像分类、机器翻译等任务还不太一样。
EPFL团队从这里出发,尝试了各种办法来提升上下文学习的效果。
首先他们增加示例的数量,但发现帮助不大,没有随着例子数目增加性能就提升的趋势。这一点跟图像分类、机器翻译等任务还不太一样。
此外他们还发现,贪心搜索为某个特定模型找到的最佳示例,对于其他模型不能可靠地迁移。
也就是说,不同的示例适合不同的模型。
他们发现,在MT-Bench这样的综合评测中,示例包含正确的“问题-答案对”至关重要。
这与此前大模型在分类任务中,只要有大量示例,部分标签错了也无所谓的发现非常不同。
即使采用更多复杂的改进方法,完全缩小上下文学习和指令微调之间的差距也有挑战,即使对于非常长上下文的大模型也是如此。
论文最后分析,大语言模型可能通过上下文学习只学会了如何模仿例子里的回答风格,但还没有真正理解执行指令的逻辑。
指令跟随任务相对还是比较复杂和开放的,没那么容易掌握。
想让AI助手更“听话”,暂时还是很难有捷径可走。
论文地址:
https://arxiv.org/abs/2405.19874
参考链接:
[1]https://x.com/maksym_andr/status/1796574297894318136
— 完 —
量子位 QbitAI · 头条号签约