GPT-4技術(shù)報(bào)告 重點(diǎn)介紹GPT-4的能力、限制和安全屬性，介紹了GPT-4，一個(gè)能夠處理圖像和文本輸入并產(chǎn)生文本輸出的大型多模態(tài)模型。還討論了項(xiàng)目的一個(gè)關(guān)鍵挑戰(zhàn)，即開(kāi)發(fā)在各種規(guī)模下表現(xiàn)可預(yù)測(cè)的深度學(xué)習(xí)基礎(chǔ)設(shè)施和優(yōu)化方。

報(bào)告了GPT-4的開(kāi)發(fā)情況，這是一個(gè)大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入并產(chǎn)生文本輸出。雖然在許多現(xiàn)實(shí)世界的場(chǎng)景中，GPT-4的能力不如人類(lèi)，但它在各種專(zhuān)業(yè)和學(xué)術(shù)基準(zhǔn)上表現(xiàn)出人類(lèi)水平的性能，包括在模擬的律師考試中，以大約前10%的考生的分?jǐn)?shù)通過(guò)。GPT-4是一個(gè)基于Transformer的模型，經(jīng)過(guò)預(yù)訓(xùn)練可以預(yù)測(cè)文檔中的下一個(gè)標(biāo)記。訓(xùn)練后的調(diào)整過(guò)程導(dǎo)致在衡量事實(shí)性和堅(jiān)持理想行為方面的表現(xiàn)得到改善。這個(gè)項(xiàng)目的一個(gè)核心部分是開(kāi)發(fā)基礎(chǔ)設(shè)施和優(yōu)化方法，這些方法在廣泛的規(guī)模中表現(xiàn)得可預(yù)測(cè)。這使我們能夠根據(jù)以不超過(guò)GPT-4的1/1000的計(jì)算量訓(xùn)練的模型準(zhǔn)確地預(yù)測(cè)GPT-4的某些方面的性能。