時間:2023-06-06|瀏覽:210
LLM是指包含數(shù)千億(或更多)參數(shù)的語言模型,這些參數(shù)是在大量文本數(shù)據(jù)上訓(xùn)練的。LLM是建立在Transformer架構(gòu)之上的,其中多頭注意力層堆疊在一個非常深的神經(jīng)網(wǎng)絡(luò)中。LLM的涌現(xiàn)能力則被定義為“在小型模型中不存在但在大型模型中出現(xiàn)的能力”,這是LLM與以前的PLM區(qū)分開來的最顯著特征之一。
現(xiàn)有的LLM主要采用與小語言模型類似的模型架構(gòu)(即Transformer)和預(yù)訓(xùn)練目標(biāo)(即語言建模)。LLM在很大程度上擴展了模型大小、預(yù)訓(xùn)練數(shù)據(jù)和總計算量(擴大倍數(shù)),以更好地理解自然語言,并根據(jù)給定的上下文生成高質(zhì)量的文本。這種容量改進可以用標(biāo)度律進行部分地描述,其中性能大致遵循模型大小的大幅增加而增加。
HuggingGPT是一個協(xié)作系統(tǒng),由LLM充當(dāng)控制器、眾多專家模型作為協(xié)同執(zhí)行器。其工作流程分為四個階段:任務(wù)規(guī)劃、模型選擇、任務(wù)執(zhí)行和響應(yīng)生成。當(dāng)HuggingGPT收到用戶請求時,使用ChatGPT進行任務(wù)規(guī)劃,根據(jù)HuggingFace中可用的功能描述選擇模型,用選定的AI模型執(zhí)行每個子任務(wù),并根據(jù)執(zhí)行結(jié)果匯總響應(yīng)。HuggingGPT能夠完成覆蓋不同模態(tài)和領(lǐng)域的復(fù)雜AI任務(wù),并在語言、視覺、語音等具有挑戰(zhàn)性的任務(wù)中取得令人滿意的結(jié)果。實驗充分證明了HuggingGPT在處理多模態(tài)信息和復(fù)雜AI任務(wù)方面的強大能力,并且HuggingGPT將繼續(xù)添加面向特定任務(wù)的AI模型,從而實現(xiàn)可增長和可擴展的AI功能。HuggingGPT為走向通用人工智能開辟了一條新的道路。
目前,關(guān)于HuggingGPT的論文已經(jīng)發(fā)布,項目在建設(shè)中,代碼已開源了一部分,并攬獲1.4k標(biāo)星。該項目被命名為《鋼鐵俠》里的AI管家賈維斯(JARVIS)。與3月份發(fā)布的Visual ChatGPT的思想非常相似,它們都有一個共同的作者,叫作微軟亞研院。而它們的區(qū)別在于HuggingGPT可調(diào)用的模型范圍擴展了許多。
對于這個強大新工具的誕生,科學(xué)界表示,ChatGPT已經(jīng)成為人類創(chuàng)建的所有AI的總指揮官了。而AGI可能不是一個LLM,而是由一個“中間人”LLM連接的多個相互關(guān)聯(lián)的模型。這是一項重要的技術(shù)突破,標(biāo)志著AI領(lǐng)域邁向更加智能化的新時代。