今年3月，AI初創(chuàng)公司Cognition發(fā)布的首個AI程序員Devin引起巨大轟動，它可以像人一樣實現(xiàn)端到端的部署、調(diào)試、優(yōu)化代碼，幾乎與編程相關(guān)的任務都能自動化完成。
今天，Cosine發(fā)布了同類產(chǎn)品Genie，但在權(quán)威測試平臺SWE-Bench上的評分達到驚人的30.08%，斷崖式領(lǐng)先Devin的13.8%和Swe-agent+GPT-4的12.47%，成為目前全球最強的AI程序員。
其實Genie并非盲目跟風Devin，早在2022年12月13日，其聯(lián)合創(chuàng)始人Alistair Pullen就在英國倫敦大學的一次路演中展示過Genie。他希望開一個能像人類一樣端到端自動執(zhí)行編碼、優(yōu)化的AI機器人而無需任何人為干預。
經(jīng)過一年多的開發(fā)Genie終于進入測試階段，并且獲得了250萬美元種子輪融資。Alistair指出，Genie能大幅度領(lǐng)先Devin、GPT-4等知名產(chǎn)品，與其訓練數(shù)據(jù)和方法有很大關(guān)系。
Genie的訓練并非基于常規(guī)的大模型微調(diào)，而是使用了一個特殊的數(shù)據(jù)集，這個數(shù)據(jù)集包含了人類程序員的推理過程，包括信息的完整傳承、知識的逐步發(fā)現(xiàn)，以及基于實際案例的決策制定步驟等，這使得Genie能夠像人類一樣在面對各種復雜甚至是從未見過的問題時，展現(xiàn)出與人類工程師相似的處理能力。
簡單來說，就是讓Genie完全模仿人類的開發(fā)風格和解決BUG、優(yōu)化代碼的習慣，然后自動去完成。
在訓練的過程中，Genie還使用了一個獨特的“自我改進機制”。最開始Genie 在大量高質(zhì)量的數(shù)據(jù)上進行初始訓練，使模型處于“完美”狀態(tài)。但這有一個很大弊端，就是Genie對自身錯誤的判斷和改進不足。
為了解決這個難題，在完成初始訓練后，開發(fā)人員又通過Genie生成了一些合成數(shù)據(jù)，并將這些數(shù)據(jù)注入到后續(xù)模型的訓練中，以豐富錯誤和復雜情況。
如果Genie提出的解決方案不正確，那么就會使用訓練數(shù)據(jù)集中的最終正確狀態(tài)來指導Genie如何從錯誤中過渡到正確的狀態(tài)。
簡單來說，這個過程有點像媽媽教孩子走路，在Genie每一次跌倒或者走路姿勢不正確時，幫助它糾正一下。隨著每一次循環(huán)迭代，Genie解決復雜編碼的能力越來越強，即使在需要調(diào)整的情況下所需的指導也顯著減少。
這種自我改進機制不僅提高了Genie在面對新問題時的適應性和準確性，還增強了它處理復雜、高度情境化編碼問題的能力，使其夠在從未見過的問題上展現(xiàn)出類似人類工程師的判斷力和創(chuàng)造力。
功能方面，Genie主要支持功能開發(fā)、BUG修復、代碼重構(gòu)、代碼小改動和雜項、代碼測試以及編寫代碼文檔和更新。支持的編程語言包括JavaScript、 Python、Java、C#、C++、C、Rust、Scala、Kotlin、Swift、Golang、PHP和Ruby等幾十種主流語言。
知名開發(fā)者Mckay表示，非常想測試一下這個產(chǎn)品。他已經(jīng)有了Devin的使用權(quán)限，所以，很容易就能評測出Genie到底是不是在吹牛。
能在SWE-Bench獲得如此高的評分，估計產(chǎn)品應該差不到哪去。
已經(jīng)有老哥等不及了，希望馬上測試一下，但現(xiàn)在處于申請測試階段。
Alistair表示，現(xiàn)在可以接受申請注冊，未來2—3周內(nèi)肯定會發(fā)放測試權(quán)限，并且在發(fā)布時還會增加一些小驚喜功能。
目前，Genie已經(jīng)開放申請試用。體驗地址:https://cosine.sh/register