3月21日，比爾·蓋茨發(fā)表文章表示，自1980年首次看到圖形用戶界面以來，OpenAI的GPT人工智能模式是他所見過的最具革命性的技術進步。3月23日，OpenAI宣布目前正在逐步推出ChatGPT相關插件。

AI技術的應用比想象中更快，人工智能時代已經(jīng)到來。各行各業(yè)暢想人工智能將在各領域帶來怎樣的改變，AI將給財富管理領域帶來怎樣的變革？本期我們采訪了道樂科技技術總監(jiān)蔡樹彬，看看他對ChatGPT的技術解讀及金融營銷領域應用的猜想。

ChatGPT技術解析

簡單來說，ChatGPT（及GPT系列）是一種基于深度學習的自然語言處理技術。其基本原理是使用大規(guī)模的語料庫進行訓練，以獲得自然語言的語義和語法規(guī)則，從而生成自然流暢的對話。ChatGPT主要經(jīng)由數(shù)據(jù)準備、模型訓練、模型優(yōu)化和微調(diào)以及模型部署和應用這4個階段形成。

(相關資料圖)

01 數(shù)據(jù)準備

數(shù)據(jù)準備包括數(shù)據(jù)收集和數(shù)據(jù)清洗。OpenAI沒有披露ChatGPT的具體訓練數(shù)據(jù)集，但ChatGPT是在GPT-3的基礎上形成的，兩者的數(shù)據(jù)集大致相同。GPT-3的訓練數(shù)據(jù)集包括但不限于以下維基百科、新聞、社交媒體等超過45TB的數(shù)據(jù)集：

除了這些數(shù)據(jù)集外，ChatGPT 還利用了其他一些開源的自然語言數(shù)據(jù)集，如OpenWebText、WebText、Stories等，以擴展模型的語言覆蓋范圍和學習能力。這些數(shù)據(jù)集的廣泛性和多樣性可以幫助模型學習更豐富和復雜的語言知識和模式。ChatGPT 對這些數(shù)據(jù)集進行了清洗、預處理和格式化，以保證數(shù)據(jù)的質(zhì)量和一致性，提高模型的訓練效果和性能。質(zhì)量越高的數(shù)據(jù)集，如Wikipedia，具有更高的權重，在訓練中會被更多地使用到。

數(shù)據(jù)集信息

02 模型訓練

模型訓練階段，ChatGPT使用了Transformer網(wǎng)絡架構來訓練模型，以預測下一個詞或一段話的概率。Transformer網(wǎng)絡結構的核心是自注意力機制，該機制能夠使模型在計算每個位置的表示時，考慮到所有其他位置的信息。這種機制可以使模型更好地理解文本中的上下文關系，并且能夠捕捉到文本中的長期依賴關系。Transformer的模型架構如下圖所示：

Transformer 模型結構

具體來說，Transformer的模型各部分功能如下：

輸入嵌入（Input Embedding）將輸入序列中的每個元素轉換成向量表示，通常使用預訓練的詞向量或字符向量來表示。位置編碼（Positional Encoding）將輸入序列中每個元素的位置信息編碼到向量中，以便模型能夠識別其在序列中的位置。編碼器（Encoder）將輸入序列經(jīng)過多個編碼器層進行處理，每個編碼器層包含一個自注意力子層和一個全連接前饋神經(jīng)網(wǎng)絡子層。在自注意力子層中，模型會計算每個輸入元素與其他元素之間的關系，以便更好地捕捉序列中的依賴關系。隨后，在全連接前饋神經(jīng)網(wǎng)絡子層中，模型會對每個元素進行進一步的處理，以便模型更好的提取特征。解碼器（Decoder）將編碼器的輸出序列經(jīng)過多個解碼器層進行處理，每個解碼器層包含一個自注意力子層、一個編碼器－解碼器注意力子層和一個全連接前饋神經(jīng)網(wǎng)絡子層。其中，編碼器－解碼器注意力子層會計算輸入序列和輸出序列之間的關系，以便實現(xiàn)翻譯等NLP任務。輸出層（Output Layer）將解碼器的輸出序列經(jīng)過一個全連接層進行處理，得到最終的輸出結果。通常使用SoftMax函數(shù)將輸出轉換為概率分布，以進行分類等任務。

總的來說，Transformer架構可以看作是對輸入序列進行編碼和解碼的過程，并使用自注意力機制捕捉序列中的依賴關系，以便更準確地處理長序列數(shù)據(jù)。

在這個處理過程中，語言文本中的單詞都被轉化為向量表示，這個向量就是詞向量。詞向量將單詞表示為一個固定長度的向量，其中每個維度代表了單詞在不同語境下的含義。向量之間的距離與詞語之間的語義相似度保持一致，這樣單詞之間的相似性和關聯(lián)性就可以在詞向量空間中獲得表示。這種方式將單詞轉換為計算機可以處理的數(shù)值形式，從而可以方便地進行各種自然語言處理任務。

ChatGPT是使用無監(jiān)督學習的方式進行訓練的。在訓練ChatGPT模型時，需要定義一個損失函數(shù)，它可以幫助我們評估模型的性能并指導其學習——即訓練模型的目標是使損失函數(shù)最小化。

在ChatGPT的訓練中，損失函數(shù)一般是基于語言模型的交叉熵損失函數(shù)。交叉熵損失函數(shù)的目標是最小化模型預測的概率分布與實際概率分布之間的差異。兩者之間的差異越小，則代表模型的性能就越好。GPT最早期使用的是一種基于自回歸模型的語言模型，它通過最大化給定輸入序列的下一個單詞出現(xiàn)的概率來預訓練模型。自回歸模型的目標是最大化模型對無標注文本數(shù)據(jù)的似然性，即最大化模型在給定無標注文本數(shù)據(jù)下的對數(shù)似然函數(shù)。這樣，訓練出來的模型可以在當前輸入文本序列的基礎上，預測下一個單詞出現(xiàn)的概率。預測概率的一個重要指標就是似然性，即當前模型預測的結果與實際觀測值之間的相似程度。

在GPT-2，GPT-3中，在模型預訓練階段還引入了掩碼語言模型（MLM，Masked Language Model，和Bert中的一樣）。MLM的目標是在輸入序列中隨機遮蓋一些單詞，并讓模型預測這些被遮蓋的單詞。掩碼語言模型的似然函數(shù)表示為：

其中Wi表示第i個位置的被遮蔽的單詞，通常在文本中用一個特殊符號“[MASK]”標記，Wi表示第i個位置之后的單詞序列，表示文本序列的長度。使用MLM技術可以迫使模型學習到上下文信息，并在預測下一個標記時考慮到前面已經(jīng)出現(xiàn)的標記。MLM損失函數(shù)的目標是最小化模型預測被替換標記的概率分布與真實標記的概率分布之間的差異，即使上述似然函數(shù)最大。

在訓練ChatGPT模型時，需要使用梯度下降算法對模型參數(shù)進行優(yōu)化，以最小化模型的損失函數(shù)。ChatGPT 使用隨機梯度下降 （SGD） 的變體進行訓練，稱為 Adam 優(yōu)化器。Adam 優(yōu)化器結合了 SGD 和均方根傳播 （RMSProp） 優(yōu)化算法的優(yōu)點，在訓練過程中可以自適應地調(diào)整學習率，有助于模型更快、更準確地收斂。

從GPT-1到GPT-3，GPT模型的幾個重要參數(shù)都在迅速增大。詞向量的維度從768維快速增加到12888維；上下文窗口大小從1024增加到2048；每層Transformer的注意頭從12個增加到96個，Transformer的層數(shù)從12層增加到96層。模型參數(shù)從1.17億急劇增加到1750億，訓練的代價也從幾百萬美元增加到上億美元。隨著模型參數(shù)量急劇增大，模型甚至涌現(xiàn)出一些人們預料之外的能力。

03 模型優(yōu)化和微調(diào)

模型微調(diào)的訓練數(shù)據(jù)來自多個NLP任務（如分類、相似、選擇和蘊含推理等）的公開數(shù)據(jù)集，這些數(shù)據(jù)集有明確的標注，規(guī)模相對較小。OpenAI未公開所使用的數(shù)據(jù)集，一些常用的NLP數(shù)據(jù)集列舉如下：

模型微調(diào)時只訓練輸出層和分隔符的嵌入值。利用分隔符使模型能使用相同的方式（預測下一個單詞）來處理不同的NLP任務。ChatGPT微調(diào)時使用的數(shù)據(jù)集包括Cornell Movie Dialogs Corpus、Persona-Chat、DailyDialog等，這些數(shù)據(jù)集覆蓋了不同領域和類型的對話，包括電影對話、個性化對話、日常對話等。通過使用這些數(shù)據(jù)集，ChatGPT可以更好地理解和模擬人類對話，從而提高其生成對話的質(zhì)量和流暢度。

一般的模型在訓練時以預測下一個單詞的方式和最小化損失函數(shù)來建模，未能引入人的偏好和主觀意見。ChatGPT在模型優(yōu)化和微調(diào)時使用了指令微調(diào) （Instruction Fine-Tuning，IFT），有監(jiān)督微調(diào) （Supervised Fine-tuning, SFT）和人類反饋強化學習 （Reinforcement Learning From Human Feedback，RLHF）等方法來提高生成文本的質(zhì)量。

指令微調(diào)可以讓模型學會以正確的方式遵循用戶的指令。指令范式由三個主要部分組成：指令，輸入和輸出。IFT 的訓練數(shù)據(jù)通常是人工編寫的指令及用語言模型自舉生成的實例的集合。在自舉時，先輸入一些指令樣本給LLM 用于提示它，隨后要求 LLM 生成新的指令、輸入和輸出。每一輪都會從人工編寫的樣本和模型生成的樣本中各選擇一些高質(zhì)量指令輸入到模型中。然而經(jīng)過指令微調(diào)的模型并不總是生成有幫助的和安全的響應，所以還需要在高質(zhì)量的人類標注數(shù)據(jù)上使用SFT來微調(diào)模型，以提高有用性和無害性。

RLHF的思想是使用強化學習的方式直接優(yōu)化帶有人類反饋的語言模型。RLHF使得在一般文本數(shù)據(jù)語料庫上訓練的語言模型能和復雜的人類價值觀對齊。RLHF的訓練過程可以分解為三個核心步驟：1.預訓練語言模型；2.收集數(shù)據(jù)并訓練獎勵模型；3.通過強化學習微調(diào)LM。RLHF的實現(xiàn)包括兩個重要的組成部分：獎勵模型和人類反饋收集。獎勵模型是一個用于評估生成文本質(zhì)量的模型，它基于已有的訓練數(shù)據(jù)和人類反饋，學習生成文本的質(zhì)量，并給出相應的獎勵或懲罰。獎勵模型的目標是最大化模型得到的總體獎勵。

在ChatGPT中，獎勵模型是通過對人類反饋進行監(jiān)督學習得到的，這些反饋包括對生成文本的評價和改進建議。人類反饋收集是RLHF的另一個重要組成部分，它用于訓練獎勵模型并提供獎勵或懲罰。在ChatGPT中，人類反饋收集主要通過兩種方式實現(xiàn)。一種是在線收集人類反饋，即讓人類用戶在與聊天機器人對話時，對機器人生成的文本進行評價和反饋。另一種是離線收集人類反饋，即從已有的人類對話記錄中提取生成文本和人類反饋，用于獎勵模型的訓練和模型參數(shù)的微調(diào)。

最后使用近端策略優(yōu)化 （Proximal Policy Optimization，PPO） 微調(diào)初始 LM 的部分或全部參數(shù)。PPO 算法確定的獎勵函數(shù)具體計算如下：將提示輸入初始 LM 和當前微調(diào)的 LM，分別得到了輸出文本，將來自當前策略的文本傳遞給 RM 得到一個標量的獎勵 ，將兩個模型的生成文本進行比較，計算差異的懲罰項。在每個訓練批次中，這一項被用于懲罰 RL策略生成的文本大幅偏離初始模型，以確保模型輸出合理連貫的文本。最后根據(jù) PPO 算法，我們按當前批次數(shù)據(jù)的獎勵指標進行優(yōu)化。PPO 算法是一種信賴域優(yōu)化 （Trust Region Optimization，TRO） 算法，它使用梯度約束確保更新步驟不會破壞學習過程的穩(wěn)定性。

ChatGPT 訓練流程

04 模型部署和應用

經(jīng)訓練后獲得的模型，或換句話說就是訓練得到的權重和偏置矩陣等，則可以部署到所需的應用系統(tǒng)中并對外提供服務。OpenAI將模型部署在微軟的Azure云上后，圍繞該模型設計，應用了賬戶、計費、用戶界面等模塊，同時開放了API接口，形成了我們?nèi)粘Ｋ佑|的ChatGPT。從下圖的接口示例可以看到，該接口使用起來非常簡單（與OpenAI網(wǎng)站的Playground頁面內(nèi)容一一對應）。

ChatGPT是在大量語料上訓練出來的語言模型。通過綜合提煉這些語料上的語言上下文模式，它能很好地根據(jù)輸入，預測下一個詞或下一段話。也即它能通過提示語，生成回答。對比之前其他NLP模型，GPT有一個重要的設計目標是要在不針對特定任務進行微調(diào)的情況下，盡可能地提高模型的泛化能力，從而能在多個NLP任務中實現(xiàn)更好的表現(xiàn)。OpenAI的實驗表明，通過利用指令（instruction）和示例（shot），ChatGPT已經(jīng)能很好地實現(xiàn)這個目標。另一方面，OpenAI通過分析數(shù)百萬行現(xiàn)有的代碼和文檔，訓練了Codex模型，學習編程語言的語法和編程模式。Codex模型學習了許多邏輯分析和處理的內(nèi)容，被認為可能是引發(fā)了ChatGPT思維鏈（CoT）的主要原因。通過綜合運用指令、示例和思維鏈，我們可以讓ChatGPT產(chǎn)生更有意思的回答。

AI在金融營銷領域的應用

AI在金融領域早有過不少成功實施的先例。ChatGPT引起的這次AIGC浪潮，以內(nèi)容生成為其主要特征，將在金融領域各個需要生成內(nèi)容、使用內(nèi)容、核對內(nèi)容的地方獲得各種應用。例如，在金融營銷領域，AIGC可以輔助生成營銷材料；在投資者教育領域，AIGC可以生成專門針對投資者的金融教育材料；在社群運營領域，AIGC可以輔助快速生成回復等等。

以金融營銷領域為例，面對市場快速變化，基金公司需要及時發(fā)布、更新相關營銷資料。但基金客戶對基金產(chǎn)品的認識理解差異大，千人一面的營銷材料難以獲得投資者的廣泛認可；基金產(chǎn)品介紹涉及的數(shù)據(jù)、內(nèi)容有高度的專業(yè)性要求，快速響應的營銷動作容易出現(xiàn)差錯；投資者適當性需要貫徹整個營銷過程，片面追求營銷效果容易導致出現(xiàn)合規(guī)性問題。在此背景下，提升營銷效率和精度的重要性日益顯現(xiàn)。

基金行業(yè)的精細化營銷可以從以下方面切入：以單客戶畫像為核心實施個性化策略；精準匹配基金標簽和客戶需求；高命中低頻次客戶需求；根據(jù)不同客戶特性和畫像推出多版本營銷話術，以期達到營銷方案快速測試、精準客戶觸達、精準效果營銷。為此，道樂科技推出“樂創(chuàng)”產(chǎn)品以賦能基金公司解決上述痛點。

樂創(chuàng)平臺是一款基于人工智能技術的金融營銷內(nèi)容創(chuàng)作平臺，旨在幫助金融機構提升內(nèi)容創(chuàng)作效率和內(nèi)容質(zhì)量，實現(xiàn)智能化生成文字和圖片等內(nèi)容。

在樂創(chuàng)中，營銷人員可以根據(jù)不同的應用場景制定相應的工作臺，如產(chǎn)品宣傳、新基金發(fā)售、基金經(jīng)理介紹、營銷活動策劃、投資者教育專欄等。在每個應用場景下，樂創(chuàng)均內(nèi)置對應場景的輸入數(shù)據(jù)，用戶只需要輕松地配置所需內(nèi)容即可高效地輸出針對不同需求的營銷內(nèi)容，以幫助金融機構更精準和有效的營銷。

以持營基金內(nèi)容營銷宣傳為例，用戶只需要根據(jù)頁面指示選擇需要宣傳的基金、指定面向的受眾、需要結合的時事熱點，以及配置輸出的規(guī)則，如內(nèi)容人設、文本長度和文本數(shù)量等。

同時，在選擇基金后系統(tǒng)還會自動調(diào)用道樂金融營銷數(shù)據(jù)庫中關于該基金的信息，如在不同統(tǒng)計范圍之內(nèi)的業(yè)績表現(xiàn)、最大回撤、基金經(jīng)理、同類排名以及投資主題。

用戶可以按不同營銷場景的需要，擇優(yōu)選取關鍵營銷內(nèi)容，免去在數(shù)據(jù)平臺和內(nèi)容創(chuàng)作平臺之間數(shù)據(jù)來回復制的麻煩。

金融機構往往同時面對多個目標客戶群體，如零售客戶、機構客戶、高凈值客戶等，需要為每個群體創(chuàng)作不同類型的內(nèi)容。但由于資源和時間有限，很難同時保證每個群體的內(nèi)容都能夠得到充分的關注和投入。

樂創(chuàng)的另一大特色是可以內(nèi)置多個用戶畫像，通過一下點擊切換目標客戶群，調(diào)整營銷內(nèi)容的輸出。

除了內(nèi)置的畫像，還可以自定義創(chuàng)建無數(shù)用戶畫像，只需要輸入性別、年齡層即可對客戶進行精細化分類，還可以對用戶痛點進行設置，讓 AI 輸出的結果更有針對性，以達到提升轉化率的效果。

基金營銷往往與時下政策熱點、投資熱點相關，運營人員需要在不同平臺資訊中來回翻找可供參考的信息，還要抽象和提煉內(nèi)容的觀點，無疑十分費時費力。為此，樂創(chuàng)整合多個財經(jīng)平臺資訊供用戶搜索和參考。只需選取相關的熱點標題，樂創(chuàng)即會在后臺進行觀點提煉，幫助用戶節(jié)省時間和精力。同時，樂創(chuàng)還根據(jù)每一只基金進行相關熱點匹配，方便用戶篩選。

經(jīng)過簡單的配置和輸入后，樂創(chuàng)會根據(jù)輸入的要求瞬間生成多個符合要求的結果，用戶可以根據(jù)不同的結果進行復制、收藏以及調(diào)優(yōu)。

金融領域的內(nèi)容營銷必須符合監(jiān)管規(guī)定和保證信息安全，并且對表達專業(yè)性也有要求。因此，樂創(chuàng)會自動為每一條結果進行效果預測、受眾分析和智能風控，以降低內(nèi)容審核所需的額外時間及成本，以及向不同受眾準確地傳達可信實用的信息。

上述是用戶如何通過樂創(chuàng)快速批量生產(chǎn)營銷短文案的說明。而基金公司除了短文案的生產(chǎn)，往往也需要深度的長文案輸出。以下則通過“指數(shù)投資價值分析”案例介紹如何在樂創(chuàng)中智能輸出長文案。

在樂創(chuàng)中，用戶只需要通過兩大步驟即可輸出一篇長文案：配置主題和審核調(diào)整。

（1）配置主題。以“指數(shù)投資價值分析”為例，用戶需要選取需要分析的產(chǎn)品品類（本例中為“指數(shù)”），然后選擇具體標的（如“中證全指信息技術指數(shù)”），樂創(chuàng)即會在后臺生成智能大綱（下左圖）。用戶通過修改大綱內(nèi)容確定最終內(nèi)容輸出的框架，以控制輸出的內(nèi)容，本例中“指數(shù)投資價值分析”的框架是“指數(shù)簡介”“指數(shù)成分分析”“指數(shù)業(yè)績分析”“指數(shù)估值表現(xiàn)”“與最新政策熱點結合”和“與當前熱點的結合”。（下右圖）

（2）審核調(diào)整。樂創(chuàng)會根據(jù)智能大綱補充相關細節(jié)，用戶在輸出后只需要審閱、調(diào)整輸出的內(nèi)容。在此步驟中，樂創(chuàng)提供了先進的自然語言處理（NLP）技術，對生成的內(nèi)容進行文本審核，包括語法、拼寫、句法等方面的檢查，避免因為文本錯誤導致內(nèi)容質(zhì)量下降；進行自動優(yōu)化，包括調(diào)整詞匯、句子結構、段落結構等，以提高文章的整體質(zhì)量和流暢性；進行語義分析，保證內(nèi)容的邏輯性和通順性，避免產(chǎn)生歧義或不通順的內(nèi)容；進行可讀性分析，分析文章的段落長度、句子長度、使用詞匯、句子結構等，提供具體的改進建議，以提高文章的易讀性和可懂性。如用戶對段落或句子仍不滿意，還可以使用樂創(chuàng)的智能改寫工具進行修改 —— 只需要告訴 AI 想怎樣修改即可，大大降低內(nèi)容創(chuàng)作成本。

同時，樂創(chuàng)集成了道樂金融營銷數(shù)據(jù)庫中的內(nèi)容，擁有強大的金融數(shù)據(jù)調(diào)取能力，用戶可以根據(jù)不同的場景需求插入不同的金融圖表。

總之，樂創(chuàng)是一款基于人工智能的全方位金融營銷內(nèi)容創(chuàng)作解決方案，可以幫助金融機構實現(xiàn)智能化服務和個性化營銷，提高市場競爭力和業(yè)務盈利能力。通過使用樂創(chuàng)平臺，金融機構可以提高客戶滿意度和營銷效果，節(jié)約人力成本，并實現(xiàn)更加高效的客戶管理和營銷。

---

參考文獻[1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.[2] Brown T, Mann B, Ryder N, etal. Language models are few-shot learners[J]. Advances in neural information processing systems, 2020, 33: 1877-1901.[3] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. Advances in Neural Information Processing Systems, 2022, 35: 27730-27744.[4] OpenAI. GPT-4 Technical Report. OpenAI, 2023.

作者簡介：蔡樹彬，中山大學計算機專業(yè)學士、博士。目前擔任道樂科技技術總監(jiān)，深圳移動互聯(lián)網(wǎng)應用中間件技術工程實驗室主任。

本文系未央網(wǎng)專欄作者:道樂研究院 發(fā)表，內(nèi)容屬作者個人觀點，不代表網(wǎng)站觀點，未經(jīng)許可嚴禁轉載，違者必究！

關鍵詞：