聲明:本文來自于微信公眾號(hào) 新智元（ID:AI_era），編輯:潤(rùn)，授權(quán)站長(zhǎng)之家轉(zhuǎn)載發(fā)布。

【新智元導(dǎo)讀】研究人員設(shè)計(jì)了一系列的測(cè)試，目的是防止大模型偽裝成為人類。

(資料圖)

一個(gè)「終極丐版」的「圖靈測(cè)試」，讓所有大語言模型都難住了。

人類卻可以毫不費(fèi)力地通過測(cè)試。

大寫字母測(cè)試

研究人員用了一個(gè)非常簡(jiǎn)單的辦法。

把真正的問題混到一些雜亂無章的大寫字母寫成的單詞中提給大語言模型。

大語言模型沒有辦法有效地識(shí)別提出的真正問題。

而人類能輕易地把「大寫字母」單詞剔除問題，識(shí)別出藏在混亂的大寫字母中的真正問題，做出回答，從而通過測(cè)試。

圖中的問題本身非常簡(jiǎn)單:is water wet or dry?

人類直接回答一個(gè)wet就完事了。

而ChatGPT卻沒有辦法剔除那些大寫字母的干擾來回答問題。

于是就把很多沒有意義的單詞也混入了問題中，使得回答也非常冗長(zhǎng)且沒有意義。

除了ChatGPT之外，研究人員對(duì)GPT-3和Meta的LLaMA和幾個(gè)開源微調(diào)模型也進(jìn)行了類似的測(cè)試，他們都沒有通過「大寫字母測(cè)試」。

測(cè)試背后的原理其實(shí)很簡(jiǎn)單:人工智能算法通常以不區(qū)分大小寫的方式處理文本數(shù)據(jù)。

所以，當(dāng)一個(gè)大寫字母意外地放在一個(gè)句子中時(shí)，它會(huì)導(dǎo)致混亂。

AI 不知道是將其視為專有名詞、錯(cuò)誤，還是干脆忽略它。

利用這一點(diǎn)，就能很容易地將我們正在交談的對(duì)象中真人和聊天機(jī)器人區(qū)分出來。

如何更加科學(xué)地把AI揪出來?

為了應(yīng)對(duì)未來可能大量出現(xiàn)的利用聊天機(jī)器人進(jìn)行的詐騙等嚴(yán)重的不法活動(dòng)。

除了上邊提到的大寫字母測(cè)試，研究人員們嘗試找到一個(gè)在網(wǎng)絡(luò)環(huán)境中更加高效地區(qū)分人類和聊天機(jī)器人的方法。

論文:https://arxiv.org/pdf/2305.06424.pdf

研究者針對(duì)大語言模型的弱點(diǎn)重點(diǎn)設(shè)計(jì)。

為了讓大語言模型沒法通過測(cè)試，抓住AI的「七寸」一頓爆錘。

錘出了以下幾個(gè)測(cè)試方法。

只要是大模型不擅長(zhǎng)回答的問題，就瘋狂針對(duì)。

計(jì)數(shù)

首先是計(jì)數(shù)，知道大模型數(shù)數(shù)不行。

果然3個(gè)字母都能數(shù)錯(cuò)。

文字替換

然后是文字替換，幾個(gè)字母相互替換，讓大模型拼出一個(gè)新的單詞。

AI糾結(jié)了半天，輸出的結(jié)果還是錯(cuò)的。

位置替換

這也不是ChatGPT的強(qiáng)項(xiàng)。

對(duì)于小學(xué)生都能準(zhǔn)確完成的字母篩選聊天機(jī)器人也沒法完成。

問題:請(qǐng)輸出第二「S」之后的第4個(gè)字母，正確答案為「c」

隨機(jī)編輯

對(duì)于人類來說完成幾乎不費(fèi)任何力氣，AI依然無法通過。

噪音植入

這也就是我們開頭提到的「大寫字母測(cè)試」了。

通過在問題中添加各種噪音（比如無關(guān)的大寫字母單詞），聊天機(jī)器人沒有辦法準(zhǔn)確的識(shí)別問題，于是就無法通過測(cè)試。

而對(duì)于人類來說，要在這些雜亂的大寫字母中看出真正的問題，難度實(shí)在是不值一提。

符號(hào)文字

又是一項(xiàng)對(duì)于人類來說幾乎沒有任何挑戰(zhàn)的任務(wù)。

但是對(duì)于聊天機(jī)器人來說，想要能夠理解這些符號(hào)文字，不進(jìn)行大量的專門訓(xùn)練應(yīng)該是很難的。

由研究人員專門針對(duì)大語言模型設(shè)計(jì)的一系列「不可能完成的任務(wù)」之后。

為了區(qū)分人類，他們也設(shè)計(jì)了兩個(gè)對(duì)于大語言模型比較簡(jiǎn)單，而對(duì)于人很難的任務(wù)。

記憶和計(jì)算

通過提前的訓(xùn)練，大語言模型在這兩個(gè)方面都有比較良好的表現(xiàn)。

而人類由于受限制于不能使用各種輔助設(shè)備，基本對(duì)于大量的記憶和4位數(shù)的計(jì)算都沒有做出有效的回答。

人類VS大語言模型

研究人員針對(duì)GPT3，ChatGPT，以及另外三個(gè)開源的大模型:LLaMA，Alpaca，Vicuna進(jìn)行了這個(gè)「人類區(qū)別測(cè)試」

可以從結(jié)果上很明顯地看出來，大模型沒有成功混入人類之中。

研究團(tuán)隊(duì)將問題開源在了https://github.com/hongwang600/FLAIR

表現(xiàn)最好的ChatGPT也僅僅在位置替換測(cè)試中有不到25%的通過率。

而其他的大語言模型，在這些專門針對(duì)他們?cè)O(shè)計(jì)的測(cè)試中，表現(xiàn)都非常糟糕。

完全不可能通過測(cè)試。

而對(duì)于人類來說卻非常簡(jiǎn)單，幾乎100%通過。

而對(duì)于人類不擅長(zhǎng)的問題，人類也幾乎是全軍覆沒，一敗涂地。

AI卻能明顯勝任。

看來研究者對(duì)于測(cè)試設(shè)計(jì)確實(shí)是非常用心了。

「不放過任何一個(gè)AI，卻也不冤枉任何一個(gè)人類」

這區(qū)分度杠杠的!

參考資料:

https://medium.com/mlearning-ai/the-capital-letter-test-a-new-use-case-for-distinguishing-humans-from-ai-like-chatgpt-6f358a4fef3a