OpenAI王炸第二弹强化微调:12个例子搞定专业学习推理,Altman称为今年最大惊喜
直播吧10月9日讯拉齐奥上一财年盈利3850万欧元,在意甲俱乐部的历年盈利排行榜上排名第六位。本周拉齐奥公布了2023-24财年的俱乐部财报,这一财年中拉齐奥盈利3850万欧元。
OpenAI连续12天“王炸”的第二弹来了。不同于 日聚焦(AI)模型,第二日的专注于服务企业等组织的一款新功能,虽然看起来不太侧重于普通消费者,但据介绍它甚至可以简易版推理模型o1 mini的效果超过本周四发布的正式版o1、即所谓满血o1。
美东时间12月6日周五,OpenAI在社交媒体X公布第二日活动的主题是新功能“强化微调”(Reinforcement Fine-Tuning)。这个主题是指,企业组织将能够通过“”微调o1 mini,满足他们的特定需求。
OpenAI CEO Sam Altman在X发帖称,强化微调的效果 棒,是他今年最大的惊喜之一,期待看到大家利用这种功能的创造。
OpenAI的研究员本周五介绍,科学家、开发人员和研究人员可以根据自己的数据、而不是仅仅使用公开可用的数据,量身定制OpenAI的强大推理模型o1。不同行业的人可以使用强化学习来创建基于 o1 的专家模型,从而提高该领域的整体专业知识水平。开发者、研究者和机器学习工程师将首次能运用强化学习,打造在精通他们各自专业领域的专家模型。
OpenAI的研究员称,强化微调并不是单单教模型模型输出,它的运作方式是,当模型发现一个问题的时候,研究者给模型空间区仔细思考这个问题,然后评估模型给出的最终解答,运用强化学习,研究者可以强化产生正确 的思路,抑制产生错误 的思路,只需要“几十个例子”(a few dozen examples)、甚至12个例子,模型就能以有效的新方式学习特定领域的推理。
通过强化学习,用户可以用大模型在特定数据上训练其他模型。这对于涉及到大量数据的复杂领域或需要专家领域知识的新研究 有用。研究者举例称,最近和汤森路透合作,运用强化微调微调o1 mini,让充当法务助理,帮助他们的法律专业人士完成大部分分析工作流。
OpenAI称,OpenAI的定制模型 将支持强化学习,强化学习也是OpenAI内部用于训练自家前沿模型的技术,如GPT-4o和o1系列模型。在OpenAi的内测中,强化微调已经在生物化学、安全、法律和医疗保健领域取得成功。OpenAI计划,2025年初让强化微调面向公众发布,目前已对企业、大学和研究院开放申请 通道。
伯克利大学罕见遗传病研究员 Justin Reese参与了OpenAI本周五对o1 mini模型的现场演示。演示中,研究者试图从样本数据池中获取可能导致疾病的模型 ID 基因。
研究员展示了一个评估表,下图可见, 行是本周四OpenAI发布的正式版o1测评表现,第二行是o1 mini的测评结果 ,第三行结果来自经过最终强化微调的o1 mini。研究员进行了三类评估,其中,top @1是 模型给出的正确 出现在列表最前列中的概率,@5是正确 出现在前五列的概率,top@max是 出现在所有正确 列表的概率。
如图所示,正式版o1的 通过率为25%,o1 mini为17%,而强化微调后的o1 mini竟然达到31%,超过了正式版o1,比正式版o1的测评结果高24%,而且相比未强化微调前,微调后的结果提高了82.3%。
据OpenAI所说,用户可以综合运用o1、微调和数据创建定制的小型 o1模型 o1 mini。用户要做的就是提供数据,然后在强化微调方面,设置一个数据集和一个“ 器”,根据训练和验证数据集评估模型的性能,其他工作交给OpenAI。