11月28日，中國(guó)教育和科研計(jì)算機(jī)網(wǎng)CERNET第二十八/二十九屆學(xué)術(shù)年會(huì)在福州開(kāi)幕。會(huì)上，清華大學(xué)計(jì)算機(jī)系教授唐杰作了題為《生成式人工智能大模型的現(xiàn)狀和未來(lái)》的特邀報(bào)告，總結(jié)了人工智能大模型的發(fā)展歷程，并對(duì)大模型的未來(lái)進(jìn)行了展望。

唐杰 清華大學(xué)計(jì)算機(jī)系教授

　　2020年：大模型元年

　　唐杰表示，預(yù)訓(xùn)練大模型是新一代人工智能應(yīng)用的基礎(chǔ)設(shè)施。大模型通用能力強(qiáng)，可完成多場(chǎng)景任務(wù)。從2018年到現(xiàn)在，其趨勢(shì)是由單模態(tài)向多模態(tài)發(fā)展，從文本逐步發(fā)展到視覺(jué)。

　　據(jù)唐杰介紹，Open AI引領(lǐng)了AGI(人工通用智能)的研究。2020年，GPT-3推出。GPT-3是跨時(shí)代意義的語(yǔ)言大模型，標(biāo)志AI文本生成進(jìn)入下一個(gè)階段。因此，2020年可以稱之為大模型元年。

　　今年，GPT-4發(fā)布。與GPT-3.5相比，GPT-4的數(shù)學(xué)能力、微積分能力大大增強(qiáng)，開(kāi)始具備邏輯推理能力、求解能力，并且走向了多模態(tài)，實(shí)現(xiàn)圖像和文本輸入。而GPT-4.5(AII Tools)具有很強(qiáng)的Agent(智能體)能力，融合多種工具的Agent形態(tài)，通過(guò)網(wǎng)頁(yè)瀏覽、代碼解釋、文件解析、圖片生成、圖片理解，以及多工具結(jié)合，無(wú)需手動(dòng)指定工具，能夠自動(dòng)觸發(fā)。

　　唐杰表示，GPT-4/4.5的出現(xiàn)表明，我國(guó)在大模型上的研究還有空間，也需要繼續(xù)努力。此外，目前來(lái)看，亟需建立以中文為核心的自研大模型。

　　大模型發(fā)展歷程

　　唐杰認(rèn)為，可以把GPT(生成式預(yù)訓(xùn)練Transformer模型)的發(fā)展分為三個(gè)階段。第一階段是“千億基座模型”，相當(dāng)于機(jī)器把世界上所有的書(shū)讀了個(gè)遍，把知識(shí)都學(xué)會(huì)，但“飽讀詩(shī)書(shū)”的大模型卻未必會(huì)“考試”；第二階段是“有監(jiān)督指令微調(diào)”，相當(dāng)于“教”大模型怎么“考試”，怎么回應(yīng)痛點(diǎn)，怎樣跟人類(lèi)的思維方式對(duì)齊；第三階段是“人類(lèi)反饋強(qiáng)化學(xué)習(xí)”，將強(qiáng)化學(xué)習(xí)與人類(lèi)反饋相結(jié)合，利用人類(lèi)提供的反饋來(lái)指導(dǎo)大模型的行為。

　　為什么AGI會(huì)迎來(lái)爆發(fā)？唐杰進(jìn)一步回顧了人工智能的發(fā)展歷程。

　　他表示，人工智能的發(fā)展可以分為三個(gè)時(shí)期。第一個(gè)時(shí)期是“符號(hào)AI”，實(shí)現(xiàn)了知識(shí)的可搜索性，讓計(jì)算機(jī)用描述語(yǔ)言把人類(lèi)知識(shí)描述出來(lái)，這一階段以各種“專家系統(tǒng)”為代表。第二個(gè)時(shí)期是“感知智能”，實(shí)現(xiàn)了知識(shí)的可計(jì)算性，大數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)學(xué)習(xí)方法初步實(shí)現(xiàn)了針對(duì)文本、圖像、語(yǔ)音等的感知與識(shí)別。第三個(gè)時(shí)期是“認(rèn)知智能”，實(shí)現(xiàn)了認(rèn)知的可計(jì)算性。中科院院士、清華大學(xué)教授張鈸在2016年提出第三代人工智能雛形，DARPA(美國(guó)國(guó)防高級(jí)研究計(jì)劃局)在2018年發(fā)布“AI Next”計(jì)劃。核心思路是推進(jìn)數(shù)據(jù)統(tǒng)計(jì)與知識(shí)推理融合的計(jì)算，與腦認(rèn)知機(jī)理融合的計(jì)算。在此階段，機(jī)器“認(rèn)知”實(shí)現(xiàn)了元學(xué)習(xí)：自動(dòng)學(xué)習(xí)認(rèn)知目標(biāo)。而目前急需的是高質(zhì)量超大規(guī)模知識(shí)圖譜(AI的基礎(chǔ)設(shè)施)以及對(duì)超大規(guī)模數(shù)據(jù)的深度理解能力(面向認(rèn)知的深度學(xué)習(xí))。

　　解密大模型

　　2017~2018年，隨著Transformer的誕生，語(yǔ)言模型規(guī)模迅速擴(kuò)大。大模型的出現(xiàn)還帶來(lái)了in-context能力(隱含模式遷移)。一方面，大規(guī)模模型算力需求迅速增長(zhǎng)，單模型計(jì)算量每年增長(zhǎng)10倍，形成新的“摩爾定律”；另一方面，機(jī)器智能的規(guī)模效應(yīng)，擁有量變到質(zhì)變的能力，在千億稠密參數(shù)(~100B，或 1023FLOPS訓(xùn)練量)時(shí)模型能力開(kāi)始出現(xiàn)“涌現(xiàn)”。

　　唐杰總結(jié)道，總的來(lái)說(shuō)，大模型理論研究還明顯落后于工程進(jìn)展。我們?cè)诠こ躺峡吹搅撕芏喱F(xiàn)象，但在理論上卻解釋得不夠清楚。

　　為解密大模型，對(duì)標(biāo)GPT系列模型，唐杰及團(tuán)隊(duì)推出了GLM系列模型。據(jù)唐杰介紹，GLM系列把千億基座模型、有監(jiān)督指令微調(diào)、人類(lèi)反饋強(qiáng)化學(xué)習(xí)這三個(gè)階段相對(duì)壓縮了時(shí)間，并在算法方面進(jìn)行了創(chuàng)新，提出“自回歸填空”。2022年，在斯坦福大學(xué)大模型中心報(bào)告的世界主流大模型評(píng)測(cè)中，GLM-130B是亞洲唯一入選模型，其準(zhǔn)確性、惡意性與GPT-3持平，魯棒性和校準(zhǔn)誤差在所有模型中表現(xiàn)最佳。

　　2024年：AGI元年？

　　唐杰表示，對(duì)于未來(lái)AGI的走勢(shì)，我們還面臨很多挑戰(zhàn)。首先，從工程角度看，Scaling(規(guī)?；?的盡頭是AGI嗎？一方面，真正的Scaling規(guī)模遠(yuǎn)超學(xué)術(shù)界想象。擴(kuò)大規(guī)模不僅僅基于參數(shù)量，更多的是基于計(jì)算量。另一方面，Scaling仍有空間，單卡摩爾定律放緩，但系統(tǒng)角度仍在延續(xù)。

　　唐杰進(jìn)一步表示，Scaling的真正極限，也許是AGI的一點(diǎn)曙光。未來(lái)更大的挑戰(zhàn)是，人類(lèi)的認(rèn)知到底是怎樣的？從人類(lèi)大腦進(jìn)化的歷程來(lái)看，腦容量逐漸擴(kuò)張，在此過(guò)程中人類(lèi)實(shí)現(xiàn)了工具能力、語(yǔ)言能力等等，那么大模型的發(fā)展是否也可以遵循人腦進(jìn)化的道路，慢慢發(fā)展出工具能力、語(yǔ)言能力和其他能力？從這一點(diǎn)看，AGI之路還很長(zhǎng)。

　　據(jù)了解，日前，Open AI提出超級(jí)對(duì)齊(Superalignment)的概念。唐杰表示，Superalignment本質(zhì)上就是超級(jí)智能與超級(jí)安全，是讓AGI跟人類(lèi)的價(jià)值觀意識(shí)觀對(duì)其，并且實(shí)現(xiàn)超過(guò)人類(lèi)智能的智能。從這一點(diǎn)看，也許2024年將是AGI的元年。

　　本文根據(jù)清華大學(xué)計(jì)算機(jī)系教授唐杰在CERNET第二十八/二十九屆學(xué)術(shù)年會(huì)上的報(bào)告整理，點(diǎn)文末“閱讀原文”可進(jìn)入CERNET第二十八/二十九屆學(xué)術(shù)年會(huì)專題