剛剛,GPT-4o mini版迎來“高光時刻”——
登頂了lmsys大模型競技場,和滿血版并列第一,還把Claude3.5甩在了身后。
不同于一般的數(shù)據(jù)集測評,大模型競技場是用戶自己出題、用腳投票的結(jié)果,無法通過“刷題”來走捷徑,因此更為真實。
這個成績一出,連CEO奧特曼都激動起來了:
網(wǎng)友看到之后表示OK,但更關(guān)心的還是GPT-4o發(fā)布會上演示的“Her”到底啥時候上線。
與此同時,OpenAI也送來了另一個好消息,將為開發(fā)者送出福利——
GPT-4o mini的微調(diào)將逐步開放,目前已開放給tier4和tier5用戶,然后會陸續(xù)擴展范圍。
而且從即日起到9月23號,每天都能免費使用2百萬的訓練token。
mini與滿血版平起平坐
經(jīng)過80多款模型上百萬輪的1v1比拼,GPT-4o mini在lmsys榜單上的成績與滿血版只差7分。
按照lmsys榜單的排法,這7分的差距沒有影響名次,把兩個型號算作了并列第一。
緊隨其后的是Claude3.5和Gemini家族,還有GPT-4的另外兩個版本。
如果我們查看GPT-4o mini的原始數(shù)據(jù),會發(fā)現(xiàn)它0.6的平均勝率僅次于滿血版本。
單獨看兩者比拼的結(jié)果,同樣是打得不相上下。
之所以lmsys的成績受到關(guān)注,在于它擁有一套獨特的比拼方式——
不用數(shù)據(jù)集,而是讓用戶自己出題,隨機拉兩個模型1對1battle,然后選擇哪個模型表現(xiàn)更好。
在給出選擇之前,模型是匿名的,用戶也不知道是哪兩個模型正在比拼,如果模型自己說漏嘴則投票無效。
這樣得到的分數(shù)更加真實,既避免了“刷題”獲取虛高分數(shù)的可能,也更加接近用戶體驗。
這個大模型競技場,最近還登上了機器學習頂會ICML2024。
而且,lmsys的評測也非常受OpenAI的青睞,GPT-4o mini正式上線之前的早期版本,就曾化名為gpt-mini在其中打榜。
當時就已經(jīng)排行第4,和GPT4-Turbo處在同一水平。
更早一些,GPT-4o上線之前也是化名gpt2-chatbot,在lmsys上搞起了測試。
不過也有人提出質(zhì)疑,表示雖然GPT-4o mini表現(xiàn)確實很好,但是要說它超過了Claude3.5sonnet就有些言過其實了。
有人更是直言,lmsys方法的完善性已經(jīng)開始瓦解,需要做出改變,否則將不再是一個有用的測試基準。
“小模型”也卷起來了
mini版本的推出,主打的就是一個性價比。
每百萬輸入/輸出tokens,價格分別為15美分和60美分(約1.09/4.36人民幣),甚至還不到3.5Turbo的一半。
如果和兩年前GPT-3的text-davinci-003版(當時最好的模型)相比,價格更是下降了99%。
而且除了把小模型開放給用戶,OpenAI還搞出了新鮮玩法——
在“超級對齊”團隊的一篇遺作中,使用了參數(shù)量為大模型千分之一或百分之一的小模型,來對大模型進行優(yōu)化。
實驗中,大小兩個模型相互“博弈”,大模型需要不斷優(yōu)化調(diào)整自己的輸出,讓小模型相信自己說的是真話。
在這個“博弈”的過程中,大模型的能力得到了提升,在精度沒有明顯損失的情況下獲得了大幅度的可理解性提升。
除了OpenAI,其他公司也都紛紛搞起了小模型。
比如在GPT-4o mini之前,谷歌和Anthropic就分別推出了Gemini Flash和Claude3-Haiku。
甚至可以說,GPT-4o mini就是OpenAI對兩家的反擊,無論是性能還是價格都超越了這兩個模型。
在GPT-4o mini發(fā)布的同一周,抱抱臉Hugging Face,以及“歐洲OpenAI”Mistral都相繼推出了小號模型。
甚至蘋果也推出了自己的7B模型,而且一次性開源了全部訓練過程和資源。
總之,在性能足以滿足使用需求的前提下,小模型無疑是一種更經(jīng)濟實惠的選擇。
同時,更小的規(guī)模也意味著有可能在端側(cè)運行,在隱私保護等方面顯現(xiàn)出優(yōu)勢。
這樣就不難理解,“小”模型為什么也越來越卷了。