【摘要】
行業圖譜研究是本中心科技成果轉化研究的一項子課題,目标定位于清晰理解前沿科技成果的技術核心、科創企業的技術競争力及科研工作者的研究進度,從而助力科技成果轉化效率的提升。行業圖譜研究将以系列形式展開,選取國家戰略重點科技領域的商業應用場景逐一進行,時效性較強。
本報告為行業圖譜研究之計算機科學系列中的課題:大型語言模型(含ChatGPT)行業圖譜。ChatGPT的成功引發了全球對大型人工智能模型的濃厚興趣,加速了學術界和商業界的發展。自2017年起,美國在戰略層面高度重視人工智能,将其應用于經濟、文化和社會福祉等衆多領域。到2023年,中國也迅速跟進,采用自主研發的技術平台取得領先地位,顯示出ChatGPT及相關技術已成為未來國家戰略支持的重點。
ChatGPT的發展可分為五個研究階段,從初期的專家系統演變為基于深度學習和大數據的方法。核心變革之一是GPT-3模型,它憑借大規模參數和創新的“提示語”概念,顯著提升了理解和生成自然語言的能力,并在情感分析、機器翻譯等多個領域得到應用。技術上,ChatGPT利用基于GPT-3.5的人類反饋強化學習,實現了語言生成能力的顯著提升,增強了模型對新指令的适應性,超越了僅依賴于參數量增加的限制。成功的關鍵因素包括OpenAI的戰略轉型、技術突破、巨額資金投入、強大算力支持以及頂尖團隊,共同構成了ChatGPT的成功基礎。ChatGPT以其基于GPT-3.5的先進技術,在準确性、多任務處理和泛化能力上占據市場優勢,但面臨着時效性不足、高成本和專業領域局限性的挑戰。與此同時,國際競争對手如Google和Meta在技術研發及商業應用上保持領先地位。戰略上,ChatGPT通過API和訂閱模式獲得了市場先機,而Google和百度更專注于B端市場。在中國,國内的通用大型語言模型正處于發展階段,公司如百度和華為正在追趕國際趨勢,但在數據、算力和工程化實施方面面臨挑戰。
語言大型模型的國際研發現狀呈現明顯的區域差異。在國際領域,以愛丁堡大學的Geoffrey Hinton、布爾諾理工大學的Tomas Mikolov、斯坦福大學的Chris Manning和Quoc Le、以及多倫多大學的Ilya Sutskever等人為代表,他們開發的技術位于行業前沿,具有重大的創新性。而在國内,Betvictor中文版計算機系的唐傑教授、自然語言處理與社會人文計算實驗室的孫茂松、交互式人工智能課題組的朱小燕教授、智能産業研究院的張亞勤以及複旦大學的邱錫鵬教授團隊、哈爾濱工業大學的王曉龍教授等,作為國内在語言大模型研發方面的頂尖技術代表,他們在自然語言處理AI的底層技術研究領域也取得了新的突破。
大型語言模型改變了數字産業的人機交互方式,提升了軟件的用戶友好性和功能性。它們在降低企業應用構建成本、推動新生态平台發展方面扮演關鍵角色,并在對話式AI領域顯著提升了産品的智能和感知能力。這些模型還促進了多行業的功能升級和生态整合。ChatGPT及類似大型AI模型在全球科技界的崛起,盡管其帶來了商業與創新價值,卻也引發了衆多安全與倫理問題,如對人類角色的替代、數據偏見和隐私洩露等,導緻業界和科研人員對AI發展提出質疑和暫停的呼聲。為此,采用了如基于人類反饋的強化學習和監管框架等手段減輕這些風險。通用人工智能(Artificial General Intelligence,AGI)技術如GPT-4不僅提高了生産力和經濟增長,還可能改變人類的思維模式和文化傳統,推動相關學科發展。通過本報告,我們旨在為ChatGPT技術和産業的發展提供參考和引導,共同推動産業合作,促進行業健康快速發展。
全文下載:大型語言模型行業圖譜