北京pk拾开户:大三學生獨自破解逆天AI模型:我只是把撩妹的時間,都用來研究機器學習了-中央电视台晚间新闻

作者:北京pk拾开户发布时间:2019年06月09日 12:08  【字号:      】

北京pk拾开户

【学生喝多以为地震】

GPT-2♂⌒♂,一個逆天的AI┊。今年2月?,OpenAI首次對外公布了這個模型的存在☆┊⊙。GPT-2寫起文章來文思泉湧毫無違和感π?∟,無需針對性訓練就能橫掃各種特定領域的語言建模任務∵,還具備閱讀理解、問答、生成文章摘要、翻譯等等能力↑。

實際上π,在推進這個項目之前?,Connor Leahy同學從來沒有使用過TPU♂♀。所以♂♂,他在博客中熱情的對Google團隊表達了感謝⊿。

哎⊿↑△?等下……一個普普通通的大三學生π,怎麼能用到TPU搞這種研究□﹡◇?感謝Google⊿⊙。Google有一個Tensorflow Research Cloud(TFRC)計劃▽□﹡。這個計劃面向研究人員⊿∵,提供1000個Cloud TPU組成的集群⌒↑⊙,完全免費♀☆□。這個計劃用於支持多種需要大量計算並且無法通過其他途徑實現的研究項目↑▽∟。

「我只是把別人出去撩妹的時間♂∴⌒,用來搞AI實驗了而已♀。」GPT-2是OpenAI最棒的研究成果⌒◇。這個模型是GPT的「進化版」♂△,最大區別就在於規模大小♂。GPT-2參數達到了15億個﹡,使用了包含800萬個網頁的數據集來訓練〇☆∵,共有40GB☆。

於是他決定自己動手復現出來⊙∵。當然還有另一個原因♀▽∵,他覺得這麼做:很酷⊙?﹡。「你怎麼知道自己成功復現了15億參數的GPT-2模型┊△?」這個問題▽,恐怕絕大多數人都想知道答案π。Connor Leahy同學給出的回應是:兩個模型的大小和參數量相同?♂▽,基於相似的數據源訓練∵♀┊,使用了類似的計算資源〇π,而且輸出結果質量相仿∟。

現在♂⊿,有人單槍匹馬⌒∵,破解了OpenAI不欲人知的秘密▽♂。而且∴,是一個大三的學生〇□◇。來自慕尼黑工業大學的Connor Leahy同學π〇,在兩個月的時間里♂,付出了200個小時的時間△π↑,花費了大約6000人民幣♂,復現了GPT-2項目∵⊿。

他用的筆記本是一台舊的ThinkPad♀⊿。Connor Leahy同學還對降噪耳機表達了感謝:讓我保持寧靜◇?⌒。目前┊⊿,復現版的GPT-2已經放在GitHub上開源△,代碼可以在GPU、TPU以及CPU上跑(不建議)☆。現在作者放出了兩個版本△,一個是1.17億參數的小型版本∴﹡,一個是稱為PrettyBig的版本∴◇▽,比3.45億參數的官方中型版稍大一點↑⌒,也是目前公開的最大GPT-2模型♂〇。

北京pk拾开户

至於15億參數的完整版⌒♂◇,作者計劃7月1日發佈∟∵。現階段∟⊿〇,Connor Leahy同學邀請大家下載試用π〇,跟他一起討論復現版GPT-2到底還有什改進空間﹡π。在關於這件的博客文章里♀▽,他說:我100%能接受大家指出的任何錯誤〇┊,如果你發現問題請與我聯繫π。

北京pk拾开户

當時Connor Leahy同學在研究GPT-2復現的時候?┊,遇到了計算資源的瓶頸?,然後隨口跟TFRC團隊提了一嘴▽∴⊙,結果卻得到了Google慷慨的支持↑☆△。

毫無疑問⊙◇,GPT-2激發了Connor Leahy同學的好奇心⌒♀,同時∟,OpenAI私藏這個模型的決定┊,也讓他非常生氣♂▽。「信息應該是自由的∵。」

北京pk拾开户

OpenAI的研究人員表示▽π〇,在各種特定領域數據集的語言建模測試中▽,GPT-2都取得了優異的分數┊⌒〇。作為一個沒有經過任何領域數據專門訓練的模型▽,它的表現☆π,比那些專為特定領域打造的模型還要好▽♀。

與他在GitHub相見吧:https://github.com/ConnorJL/GPT2本文首發於微信公眾號:量子位∴。文章內容屬作者個人觀點∟┊♂,不代表和訊網立場?。投資者據此操作∴☆,風險請自擔♂。

北京pk拾开户

不過∴,他還是在雲端花費了大約600-800歐元(人民幣6000元左右)↑∵,用於創建數據集、測試代碼和運行實驗△↑。

另外讓人佩服的是□⌒┊,Connor Leahy同學關於機器學習的知識⌒▽,都是利用空閑時間自學而成♂∟▽。他形容自己是一個充滿好奇心的本科生□。

北京pk拾开户

關於這個模型的強大表現□┊,可以參考量子位之前的報道﹡,這裏不再贅述π∟△。總之⌒,就是一個字:強∟∴。就是因為強⊿,OpenAI做了一個艱難的決定:不把完整的模型放出來給大家◇□。他們先是放出了不到十分之一規模、1.17億個參數的小型版本△◇,被吐槽幾個月後又放出了3.45億參數的中型版本﹡。

除了能用於語言建模□☆,GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務上π⊙,無需微調就能取得非常好的成績┊。

他也給出了兩者的一些明確不同☆△π,比方:1、dropout和learning rate官方沒有披露〇,所以設置可能不一樣∴┊〇。2、模型訓練使用了Adafactor而不是Adam△◇△。Connor Leahy同學不知道怎麼把15億參數+Adam塞進TPU〇∵┊,即便16bit精度也不行⌒。

但不同尋常的是∵∴,這個模型並沒有真的開源⊿。OpenAI給的解釋是□,它太過強大♂〇,我們不敢放出完整模型……儘管因此被外界嘲笑♀,但GPT-2仍然封閉至今┊┊☆。

這件事在推特上引發了眾多關注◇△∵。稱讚Awesome的有之☆⊙◇,深入討論的有之〇,甚至連OpenAI的幾位資深研究員∵,都趕來溝通♂┊﹡。

最後♂♂↑,放一下傳送門∟△。Connor Leahy同學充滿思考的博客:https://medium.com/@NPCollapse/gpt2-counting-consciousness-and-the-curious-hacker-323c6639a3a8

使用語言建模作為訓練信號〇,以無監督的方式在大型數據集上訓練一個Transformer∵?﹡,然後在更小的監督數據集上微調這個模型┊◇∵,以幫助它解決特定任務∟♀。

GPT-2發佈后♂﹡,深度學習之父Hinton獻出了他註冊Twitter以來的第三次評論:「這應該能讓硅谷的獨角獸們生成更好的英語了♀。」

推荐阅读:身份证照可自拍




北京pk拾开户整理编辑)

关键字:北京pk拾开户

专题推荐