IT之家 4月6日消息,一項新研究似乎為OpenAI至少使用部分受版權保護內容來訓練其人工智能模型的指控提供了依據。

IT之家注意到,OpenAI正面臨由作家、程序員以及其他版權持有者提起的訴訟,這些原告指責該公司在未經許可的情況下,使用他們的作品——包括書籍、代碼庫等,來開發其模型。儘管OpenAI一直聲稱其享有合理使用的抗辯理由,但原告方則認為美國版權法中並無針對訓練數據的豁免條款。
該研究由華盛頓大學、哥本哈根大學和斯坦福大學的研究人員共同撰寫,提出了一種新方法,用於識別像OpenAI這樣通過應用程序接口(API)提供服務的模型所「記憶」的訓練數據。
AI模型本質上是預測引擎,通過大量數據訓練,它們能夠學習各種模式,從而生成文章、照片等。雖然大多數輸出並非訓練數據的逐字複製,但由於模型的「學習」方式,部分內容不可避免地會被模型記憶下來。此前已有研究發現,圖像模型會重複生成其訓練數據中電影的截圖,而語言模型則被觀察到存在剽竊新聞文章的行為。
該研究的核心方法依賴於研究人員提出的「高意外性」詞彙,即在大量作品中顯得不常見的詞彙。例如,在句子「Jack and I sat perfectly still with the radar humming」中,「radar」(雷達)一詞被認為是高意外性的,因為從統計學角度來看,它出現在「humming」(嗡嗡作響)之前的可能性比「engine」(引擎)或「radio」(收音機)等詞要低。
共同作者對包括GPT-4和GPT-3.5在內的幾種OpenAI模型進行了測試,通過從虛構小說片段和《紐約時報》文章中移除高意外性詞彙,然後讓模型嘗試「猜測」被屏蔽的詞彙,來尋找記憶跡象。研究人員認為,如果模型能夠成功猜出這些詞語,則很可能表明該模型在訓練過程中記憶了這些片段。
根據測試結果,GPT-4顯示出記住了流行小說書籍的部分內容,包括一個包含受版權保護電子書樣本的數據集BookMIA中的書籍。結果還表明,該模型記住了《紐約時報》文章的部分內容,儘管比例相對較低。
華盛頓大學的博士生、該研究的共同作者阿比拉沙・拉維奇漢德(Abhilasha Ravichander)對TechCrunch表示,這些發現揭示了模型可能接受訓練的「有爭議的數據」。
長期以來,OpenAI一直倡導放寬對使用受版權保護數據開發模型的限制。儘管該公司已經達成了一些內容許可協議,並提供了允許版權所有者標記不希望其用於訓練的內容的退出機制,但該公司一直在遊說多個政府將圍繞人工智能訓練方法的「合理使用」規則編入法典。