|
4月28日，科技創(chuàng)新與知識產(chǎn)權(quán)信息服務(wù)商智慧芽旗下的大模型開發(fā)團(tuán)隊(duì)在arXiv發(fā)表技術(shù)報(bào)告PatentGPT: A Large Language Model for Intellectual Property（智慧芽專利大模型：一個(gè)應(yīng)用于知識產(chǎn)權(quán)領(lǐng)域的大語言模型），介紹“智慧芽專利大模型”的訓(xùn)練策略，及其在知識產(chǎn)權(quán)場景表現(xiàn)超越GPT-4等方面的應(yīng)用優(yōu)勢。此前，智慧芽已發(fā)布“垂直領(lǐng)域大模型”并成功訓(xùn)練“專利大模型”和“生物醫(yī)藥大模型”。 arXiv是國際知名的學(xué)術(shù)平臺(tái)，于1991年創(chuàng)立，目前在物理、數(shù)學(xué)、計(jì)算機(jī)科學(xué)等八個(gè)主題領(lǐng)域，收錄了超過200萬篇學(xué)術(shù)文章，由康奈爾大學(xué)的arXiv領(lǐng)導(dǎo)團(tuán)隊(duì)及工作人員維護(hù)運(yùn)營。 在該篇技術(shù)報(bào)告中，智慧芽提出了一種用于訓(xùn)練面向知識產(chǎn)權(quán)領(lǐng)域的大語言模型，滿足知產(chǎn)領(lǐng)域的獨(dú)特需求。該模型在2019年中國專利代理師資格考試中成績超過GPT-4，達(dá)到了人類專家水平。同時(shí)，鑒于其采用SMoE架構(gòu)，因而在長文本任務(wù)上展現(xiàn)了更高的資源效率。此外，智慧芽提出了一個(gè)更接近大模型在知識產(chǎn)權(quán)領(lǐng)域用例的基準(zhǔn)“PatentBench”，為知產(chǎn)領(lǐng)域大模型的全面評估提供參考。 亮點(diǎn)一：專業(yè)能力超越GPT-4 根據(jù)技術(shù)報(bào)告，智慧芽提出了知識產(chǎn)權(quán)領(lǐng)域大模型的標(biāo)準(zhǔn)訓(xùn)練程序，包括數(shù)據(jù)預(yù)處理、預(yù)訓(xùn)練、對齊和評估，并基于此訓(xùn)練了“智慧芽專利大模型”。 為了證明“智慧芽專利大模型”在知識產(chǎn)權(quán)領(lǐng)域的專業(yè)能力，團(tuán)隊(duì)使用2019年中國專利代理師資格考試對各項(xiàng)大模型進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明，商業(yè)通用大模型未能通過考試及格線，而“智慧芽專利大模型”取得65分，達(dá)到知識產(chǎn)權(quán)專家的水平。上述結(jié)果揭示了通用大模型在知識產(chǎn)權(quán)領(lǐng)域?qū)I(yè)能力的不足，并再次強(qiáng)調(diào)了預(yù)訓(xùn)練領(lǐng)域特定大模型的有效性和必要性。 上圖呈現(xiàn)了智慧芽專利大模型考試成績高于商業(yè)通用大模型（圖源arXiv） 需要強(qiáng)調(diào)的是，上述考試結(jié)果不僅僅是通過將知識產(chǎn)權(quán)知識整合到模型中實(shí)現(xiàn)的，還通過一系列數(shù)據(jù)增強(qiáng)技術(shù)提高了模型消除選項(xiàng)順序干擾的能力，這種能力可以用PPA來表示。結(jié)果顯示，“智慧芽專利大模型”的PPA顯著優(yōu)于GPT-4-1106-preview。 在技術(shù)報(bào)告中，智慧芽還使用了MoZIP，一項(xiàng)專門為知識產(chǎn)權(quán)行業(yè)大模型設(shè)計(jì)的開源測試基準(zhǔn)，包含三項(xiàng)挑戰(zhàn)任務(wù)：IP基礎(chǔ)知識多項(xiàng)選擇測驗(yàn)（IPQuiz）、IP基礎(chǔ)知識問答（IPQA）和專利內(nèi)容匹配（PatentMatch）。 其中，“智慧芽專利大模型”在專利內(nèi)容匹配任務(wù)上的表現(xiàn)均超過了GPT-3.5-turbo，這表明智慧芽大模型在把握各種專利之間的關(guān)系方面更為優(yōu)秀，該能力有助于協(xié)助專利審查員識別潛在的侵權(quán)內(nèi)容�？梢姡腔垩康念A(yù)訓(xùn)練數(shù)據(jù)和策略有效提高了大模型在知識產(chǎn)權(quán)領(lǐng)域的性能。 上圖呈現(xiàn)了智慧芽專利大模型在專利內(nèi)容匹配任務(wù)上的表現(xiàn)優(yōu)異（表源arXiv） 亮點(diǎn)二：推理效率更勝一籌 除了性能外，模型的響應(yīng)延遲和運(yùn)營成本對于其商業(yè)可行性至關(guān)重要。智慧芽大模型開發(fā)團(tuán)隊(duì)對所有“智慧芽專利大模型”進(jìn)行了4位量化，并使用了Text-Generation-Inference(TGI)-1.4來評估它們在輸出第一個(gè)標(biāo)記時(shí)的資源消耗。所有實(shí)驗(yàn)都在配備NVIDIA A100 80GB GPU的服務(wù)器上進(jìn)行。 下圖展示了輸入序列長度與推理階段資源消耗之間的關(guān)系。結(jié)果表明，所有模型的GPU內(nèi)存使用量與它們的參數(shù)數(shù)量和輸入序列長度都呈正相關(guān)。其中，“智慧芽專利大模型-1.0-MoE”在輸入序列長度增加時(shí)GPU內(nèi)存使用量的增加最小，表明其在涉及長上下文場景的應(yīng)用中更具資源效率。 上圖呈現(xiàn)了智慧芽專利大模型-1.0-MoE在長上下文場景應(yīng)用中更具資源效率（圖源arXiv） 實(shí)驗(yàn)結(jié)果還揭示了在模型性能水平幾乎相等的條件下，“智慧芽專利大模型-1.0-MoE”在推理效率方面更勝一籌。知識產(chǎn)權(quán)領(lǐng)域大模型尤為注重長上下文序列的計(jì)算資源管理。該模型的設(shè)計(jì)允許處理長上下文并保持高性能水平，而不會(huì)對系統(tǒng)資源造成不必要的負(fù)擔(dān)，提供了一個(gè)可能的優(yōu)越折衷方案。這或許是在資源管理與處理復(fù)雜和長數(shù)據(jù)序列的能力同樣關(guān)鍵的環(huán)境中部署先進(jìn)的知識產(chǎn)權(quán)導(dǎo)向模型的關(guān)鍵一步。這些發(fā)現(xiàn)表明，類似“智慧芽專利大模型-1.0-MoE”這樣的SMoE模型在知識產(chǎn)權(quán)行業(yè)中得以應(yīng)用的可行性，以及選擇模型架構(gòu)以開發(fā)功能強(qiáng)大、高效和專業(yè)使用的解決方案的重要性。 亮點(diǎn)三：建立PatentBench評測基準(zhǔn) 目前市面上缺乏系統(tǒng)性評測大模型在知識產(chǎn)權(quán)領(lǐng)域?qū)I(yè)能力的開源基準(zhǔn)，為此智慧芽提出了PatentBench，率先將專利代理和審查過程中涉及的任務(wù)，如專利規(guī)格起草、專利分類以及總結(jié)專利的關(guān)鍵技術(shù)點(diǎn)，納入評估知識產(chǎn)權(quán)領(lǐng)域大模型的基準(zhǔn)。值得一提的是，智慧芽計(jì)劃在2024年第四季度開源PatentBench，為開源社區(qū)和行業(yè)發(fā)展做出貢獻(xiàn)。 PatentBench的主要評估任務(wù)包括：專利問答Patent QA、專利撰寫Patent Writing、專利分類Patent Classification、專利摘要Patent Summary、專利推理Patent Reasoning、專利校正Patent Correction、專利翻譯Patent Translation。 具體來看，智慧芽首先使用GPT-4和NLP中廣泛使用的指標(biāo)評估“智慧芽專利大模型”在PatentBench上的零樣本性能。為了評估模型的總結(jié)、撰寫和對話能力，使用GPT-4作為評委，對比不同模型輸出結(jié)果的質(zhì)量。 結(jié)果顯示，“智慧芽專利大模型”在起草和知識產(chǎn)權(quán)領(lǐng)域的開放式問答方面顯著優(yōu)于ChatGPT-3.5-turbo，表明“智慧芽專利大模型”有潛力作為專利助手，幫助人類起草專利說明書、閱讀專利以及理解專利法律法規(guī)。 隨后根據(jù)不同的指標(biāo)評估了分類、審查、翻譯、文本校正和推理能力�！爸腔垩繉＠竽Ｐ汀痹诔送评碇獾钠渌芰ι险w優(yōu)于ChatGPT-3.5-turbo。這些結(jié)果證明了智慧芽的預(yù)訓(xùn)練和專利大模型在知識產(chǎn)權(quán)領(lǐng)域的先進(jìn)性。 上圖呈現(xiàn)了智慧芽專利大模型在多項(xiàng)能力上表現(xiàn)優(yōu)異（圖源arXiv） 未來，智慧芽大模型的開發(fā)將專注于增強(qiáng)長上下文支持，以滿足更多樣化的知識產(chǎn)權(quán)工作場景。此外，還將積累英文預(yù)訓(xùn)練語料庫和SFT數(shù)據(jù)，以進(jìn)一步提高智慧芽垂直領(lǐng)域大模型在英文方面的表現(xiàn)。 |
