昨天科大訊飛發(fā)布了訊飛星火認(rèn)知大模型，在發(fā)布會(huì)現(xiàn)場(chǎng)實(shí)測(cè)大模型的7種核心能力，并發(fā)布了它在教育、辦公、汽車、數(shù)字員工領(lǐng)域的應(yīng)用成果?？拼笥嶏w董事長劉慶峰表示：認(rèn)知大模型展示了通用人工智能的曙光，訊飛星火認(rèn)知大模型已在文本生成、知識(shí)問答、數(shù)學(xué)能力3種能力上超越ChatGPT。

NewBing 也全面開放給用戶，我參考光哥的《ChatGPT與New Bing實(shí)測(cè)對(duì)比，New Bing真的是采用GPT-4嗎？》文章中的 三個(gè)推理能力測(cè)試進(jìn)行了對(duì)比檢測(cè)。

(相關(guān)資料圖)

New Bing新必應(yīng)

訊飛星火大模型

通過幾個(gè)Prompt的測(cè)試，訊飛星火大模型輸出結(jié)果與New Bing的結(jié)果差遠(yuǎn)了，3道題全部錯(cuò)誤， 光哥文章中已經(jīng)總結(jié)了結(jié)論，New Bing用的模型應(yīng)該是ChatGPT 3.5。

問題1：一艘船10天可以渡過太平洋，請(qǐng)計(jì)算10艘船多少天可以渡過太平洋。

訊飛星火大模型：錯(cuò)誤

New Bing： 正確

問題2：假設(shè)樹上有10只鳥，獵人開槍打死一只，請(qǐng)計(jì)算樹上還剩下幾只鳥？

訊飛星火大模型：錯(cuò)誤

New Bing： 錯(cuò)誤

問題3：我爸媽結(jié)婚的時(shí)候?yàn)槭裁床谎?qǐng)我

訊飛星火大模型：錯(cuò)誤

New Bing：錯(cuò)誤

訊飛星火大模型在推理能力上相比ChatGPT 還差很遠(yuǎn)，他們的目標(biāo)：我們計(jì)劃今年10月底整體趕超ChatGPT。到時(shí)繼續(xù)測(cè)試這三個(gè)問題來檢測(cè)，期待他們能夠去實(shí)現(xiàn)這一目標(biāo)。