硅創社：萬物智能成本無限降低人類生產力與創造力解放后GPT時代開發范式思考（95頁）.pdf

《硅創社：萬物智能成本無限降低人類生產力與創造力解放后GPT時代開發范式思考（95頁）.pdf》由會員分享，可在線閱讀，更多相關《硅創社：萬物智能成本無限降低人類生產力與創造力解放后GPT時代開發范式思考（95頁）.pdf（95頁珍藏版）》請在三個皮匠報告上搜索。

1、人類生產力與創造力解放萬物智能成本無限降低The Infinitely Lower Cost Of Intelligence In All ThingsHuman Productivity And Creativity EmancipatedSam山 姆.阿 爾 特 曼Altman實現管理通用人工智能AGI（OpenAI/ChatGPT）做可控核聚變電價降到一美分3.75億美元投Helion成立由企業家組成的超級組織改善資本主義經濟建立憲章城市未來的基礎設施測試未來的管理方式給普通人提供全民基礎收入幣虹膜識別，發放World CoinAIGC-GPT-ChatGPTC O N T E N T目

2、 錄一Business Paradigm二Development Paradigm三Copilot&Plugins五GPT API四Function Calling六Prompt Engineering七實踐（創新工作室）1.Business Paradigm商業范式硅創社AICG-應用應用5范式：2層應用3層模型應用程序操作系統&API超本地化AI模型特定AI模型通用AI模型這一層是人類和機器協作的界面。這些是工作流程工具，使人工智能模型能夠以使商業客戶或消費者娛樂的方式獲得。這一層簡化了應用程序和工作流程的互操作性。它有助于跟蹤身份、支付、法律問題、服務條款、存儲等。它幫助應用程序開發人員

3、更快地嘗試更多的功能，并使它們更快地運行?？梢杂米匀坏娘L格寫一篇科學文章、可以創建適合特定人審美的室內設計模型、撰寫的特殊風格來寫代碼、可以完全按照某家公司的風格進行燈光和陰影處理。這個模型是在本地、典型的專有數據上訓練的。如編寫推文、廣告文案、歌詞，或生成電子商務照片、3D 室內設計圖像等。這些模型是在范圍更窄、更專業的數據上訓練出來的，這應該能讓它們在特定的場景里勝過一般模型。類似GPT3的文本，DALL-E2的圖像，Whisper 的語音，或Stable Difusion這些模型處理廣泛類別的輸出：文本、圖象、視頻、語音、游戲。它們將是開源的、易于使用的，并且擅長上述所有的事情。硅創社A

4、ICG-應用ChatPPT=Chat+PPTChatPPT深度語義分析結構化全文創建對話式PPT創作AI版式設計周澤安依賴自研語義模型-Wernicke，能識別用戶輸入的內容行進語義分析并實時創建符合用戶訴求的PPT內容，讓PPT內容創作更簡單更高效。ChatPPT是必優科技旗下AI動效產品MotionGo的全國首個“語義命令式”PPT內容創作功能。應用層（軟）硅創社AICG-應用ChatMan=Chat+數字人（林沂蒙）ChatH-BOX全息超寫真數字人1：1復刻準實時建模遠程投影依賴數字人技術、數字孿生技術、全息投影技術等生成。Chat H-Box是極客灣（蘇州）科技旗下數字孿生產品，可以

5、實現真人與數字人互動、24小時廣告輪播、定制內容投放、景點打卡、公司宣傳欄指引等功能。應用層（硬）硅創社AICG-應用ChatCRM=Chat+CRM（卞堉榕）ChatCRM蘇州馨璞信息科技有限公司AI+社會化營銷=精準營銷應用層（反例）硅創社AICG-應用ChatU=Chat+UIChatU即插即用自行設定無縫對接管理方便劉海峰全球領先的AIGC企業級產品，打造多引擎的AIGC操作系統。通過鍵接入，AI 多引擎驅動，快速實現多行業，多場景AI應。分步開源計劃：涵蓋前端、中臺和后端，為開發者提供更廣泛、優秀的工具和資源。全模態AI產品：包括文本，圖像，音頻(語音&音樂)，視頻(高寫實，2D&3

6、D，動畫，實時)。API層（軟）硅創社AICG-應用ChatBox=Chat+音箱（羅聰）ChatBox識別用戶的語音，根據語義做情景回答。根據用戶命令式語義，執行擴展物聯相關操作。ChatBox是蝌蚪文數字科技旗下基于人工智能的語音對話智能音箱。TTSSTTChatGPTAPI層（硬）硅創社AICG-應用ChatWriting=Chat+寫作（湯倩）ChatWriting輔助老師批改作文對話式引導學生創作依賴自研語義模型-davinci，能識別用戶輸入的內容行進語義分析并實時引導中小學生開拓寫作思路，從而讓孩子們的寫作兼具文學性和邏輯性，達到美與理的統一。ChatWriting是立信科技旗下

7、中小學寫作智能批改工具，是全國首個以“語義命令式”輔助完成學生寫作批改與引導學生內容創作工具。超本地化AI模型硅創社AICG-應用BloombergGPT（彭博社）特定AI模型在金融領域任務上，BloombergGPT綜合表現最好；在通用任務上，BloombergGPT的綜合得分優于相同參數量級的其他模型，并且在某些任務上的得分要高于參數量更大的模型。這說明，開發金融專用的大語言模型在金融領域取得好效果的同時，并沒有以犧牲模型通用能力為代價。這一結論也可以給我們一個啟示，在其他特定領域，我們也可以開發專用的大語言模型。金 融醫 療教 育硅創社AICG-應用微調大語言模型（LLM）列表來自綜述論

8、文微調大語言模（LLM）型列表通用AI模型2.Development Paradigm開發范式硅創社AICG-應用Schillace Laws（“semantic”AI 的思考）如果模型可以，就不要寫代碼；模型會變得更好，但代碼不會。模型可以為差異化放棄準確性；準確性更多依靠與用戶的交互。代碼用于語法和過程；模型用于語義和意圖該系統將與其最脆的部分一樣脆弱讓聰明變得聰明不確定性是一種異常拋出文本是通用的線路協議原則一原則二原則三原則四原則五原則六原則七原則八對你來說很難，對模型來說很難原則九當心“意識的帕雷多利亞”;這個模型可以用來對付自己硅創社AICG-應用后GPT時代：Prompt 即代碼

9、GPT-1是第一次使用預訓練方法來實現高效語言理解的訓練GPT-2采用遷移學習技術，在多種任務中應用預訓練信息，提高語言理解能力DALLE是走到另外一個模態GPT-3主要注重泛化能力，few-shot(小樣本)的泛化;GPT-3.5 instruction following(指令遵循)和tuning(微調)是最大突破GPT-4 已經開始實現工程化2023年3月的 Plugin 是生態化（初階）GPT-1GPT-2DALL.EGPT-3GPT-3.5GPT-4PluginFunction2023年6月的 Function Calling 是生態化（進階）,Prompt 即代碼硅創社AICG-應

10、用人機協同三范式人類與AI協同的三種模式Embedding 嵌入模式Co-pilot 副駕駛模式AI Agents自主代理模式人類完成絕大部分工作人類和AI協作工作AI完成絕大部分工作人類AI人類AI人類AI人類設立任務目標其中某(幾)個任務AI提供信息或建議人類自主結束工作人類設立任務目標其中某(幾)個流程AI完成初稿人類修改調整確認人類自主結束工作AI全權代理任務拆分工具選擇進度控制AI自主結束工作設立目標提供資源監督結果AIAIAI硅創社AICG-應用常用技能CopilotAI AgentsFine TuneRAG/CVPPromptPluginsGPT APIsFunction Cal

11、ling基礎技能專業技能由 LLM 在 API 調用時，檢測何時應該調用一個函數，傳遞輸入給函數，并調用這個函數。提供一堆可能可選擇的工具。在應用時，需要結合上下文，生成動態的工具列表，以讓 LLM 選擇合適的工具。除了 llm 本身已經學到的知識之外，通過外掛其他數據源的方式來增強 LLM 的能力，這其中就包括了外部向量數據庫等。使用提示工程與智能體（Agent）進行交互，和外部工具儲相結合。根據用戶意圖，結合特別的模式編寫 workflow，以自動構建上下文。使用高級智能體（Agent）自動生成提示來控制預訓練模型和外部工具。由 LLM 來自動根據用戶意圖生成 workflow，并自動控制

12、外部工具。為 GPT 應用提供的庫和框架，其中包含一組函數和類，可以用于執行特定任務。主要包含了九大類的 API 應用?；谕ㄓ妙A訓練的模型，通過在特定任務的數據集上進行進一步的訓練來微調模型的參數，以使其適應特定任務的要求。提示工程是一個較新的學科，應用于開發和優化提示詞（Prompt），幫助用戶有效地將語言模型用于各種應用場景和研究領域。硅創社AICG-應用LLM 的最大問題當前，LLM 的最大問題就是缺乏最新的知識和特定領域的知識。相比微調，RAG 是更好的解決方法。開源 LLM+LoRA 微調會成為企業的一種主流方式?，F今，我們可以看到 LLaMA 2、Code LLaMA 2 等模型

13、在不斷刷新這種可能性。微調的成本更高，需要使用的數據也更多，因此主要適用于風格遷移（style transfer）的場景。相比之下，RAG 方法使用例如 Milvus 之類的向量數據庫，從而將知識和數據注入到應用中，更適用于通用場景。采用 RAG 方法就意味著使用向量數據庫存儲真理數據，這樣可以確保應用返回正確的信息和知識，而不是在缺乏數據時產生幻覺，捏造回答。問題對于這一問題，業界有兩種主要解決方法：微調和檢索增強生成。方案結論對比硅創社AICG-應用大模型微調全量微調FFTFull Fine Tuning有效參數微調PEFTParameter-Efficient Fine Tuning監督

14、式微調SFTSupervised Fine uning基于人類反饋的強化學習微調RLHFReinforcement Learning with Human Feedback基于AI反饋的強化學習微調RLAIFReinforcement Learning with AI Feedback技術路線訓練方法Prompt TuningPrefix TuningLoRA基座模型(Foundation Model)的參數不變，為每個特定任務，訓練一個少量參數的小模型，在具體執行特定任務的時候按需調用。在不改變大模型的前提下，在Prompt上下文中添加適當的條件，可以引導大模型有更加出色的表現。QLoRA假

15、設：我們現在看到的這些大語言模型，它們都是被過度參數化的。而過度參數化的大模型背后，都有一個低維的本質模型。適配特定的下游任務，要訓練一個特定的模型。QLoRA就是量化版的LoRA，它是在LoRA的基礎上，進行了進一步的量化，將原本用16bit表示的參數，降為用4bit來表示，可以在保證模型效果的同時，極大地降低成本。常 用硅創社AICG-應用RAG（檢索增強生成)/CVP StackRetrieval-augmented 就是指除了 LLM 本身已經學到的知識之外，通過外掛其他數據源的方式來增強 LLM 的能力，這其中就包括了外部向量數據庫、外部知識圖譜、甚至直接把現有的 ES 接入，或者干

16、脆把現有的生產環境下的搜索引擎接入等方式。接入的方式也大同小異，首先檢索外掛數據源中與用戶給出的上下文相關的內容，合并之后做 embedding 給到所用的 llm，最后由 llm 根據模型自己的認知，做出回答。154 種數據源的 loader47 種不同的向量存儲方式37 種數據 embedding 方式65 個不同大模型的支持CVP=ChatGPT+vector database+prompt-as-code特 例硅創社AICG-應用RAG vs FTRAG:這種方法將檢索(或搜索)的能力集成到LLM文本生成中。它結合了檢索系統(從大型語料庫中獲取相關文檔片段)和LLM(使用這些片段中的信

17、息生成答案)。本質上，RAG幫助模型“查找”外部信息以改進其響應。微調:這是采用預訓練的LLM并在較小的特定數據集上進一步訓練它以使其適應特定任務或提高其性能的過程。通過調優，我們根據數據調整模型的權重，使其更適合應用程序的獨特需求。硅創社AICG-應用AI Agents（智能代理）Turn your LLMs into reasoning engines，reasoning engines 推理引擎，在Andrej Karpathy 和 Lilian Weng 近期不遺余力的鼓吹之后，成功變成了 LLMs 落地的另一篇超藍海。所謂的 reasoning engines 就是基于 LLMs 的

18、理解任務、拆解任務、執行任務的集合Andrej Karpathy Lilian Weng 硅創社AICG-應用LLMOps（人工智能的“Linux時刻”）使用LLM很容易制作出酷炫的東西，但是要使其達到生產級別卻十分困難。（Chip Huyen）選擇基礎模型適應下游任務評估LLM性能落地部署/監控專有模型開源模型GPT-3、GPT-4、Claude、Jurassic-2Stable Diffusion、LLaMA、BLOOM提示工程精調模型嵌 入替代品np.array、Pinecone、Weaviate、Milvusinstruction tuning、prompt tuning、模型蒸餾Ho

19、neyHiveHumanLoopWhylabsHumanLoopLLMOps（基于大模型的AI應用開發框架）是指用于管理LLM驅動的應用程序生命周期的一組工具和最佳實踐，包括開發、部署和維護。重點不是從頭開始訓練LLM，而是適應下游任務的預訓練LLM。涉及選擇基礎模型、適應下游任務、評估LLM性能、部署與監控四個階段。硅創社AICG-應用LLMOps（LangChain 語言鏈）LangChain（LC）主要2個能力：1、將LLM 與外部數據源進行連接2、允許與 LLM 進行交互 LLM 調用 支持多種模型接口，如OpenAI、HuggingFace.Fake LLM，用于測試 緩存支持，如i

20、n-mem、SQLite、Redis、SQL.用量記錄 支持流模式，類似打字效果 Prompt管理，支持各種自定義模板 Email Markdown PDF Youtube.對索引的支持 文檔分割器 向量化 對接向量存儲與搜索，如Chroma、Pinecone、Qdrand Chains LLMChain 各種工具Chain LangChainHubhttps:/ Kernel 語義內核）Semantic Kernel（SK）加速了利用 AI 的應用程序和服務的開發，封裝了常見的 AI 應用程序設計模式時效場景問天氣 APISkill問新聞 APISkill 問政策 APISkill學習場景問

21、知識CustomSkil一般場景問候語 AIGCSkill問日常 AIGCSkill 問時間 AIGCSkill Prompt Engineering Prompt Chaining&Prompt+Code Chaining Chain of Thought(CoT)Zero-shot/Few-shot 語義記憶索引和存儲，上下文記憶檢索 技能定義、托管、發現 自然語言處理，意圖檢測 多模型和多模態https:/ AgentAutomationActionsAutomation SoftwareAI FeaturesAI CopilotAutomationSoftware其它范式：RPA+LL

22、M范式一范式二范式三RPA+LLM三范式：組合、嵌入、融合3.Copilot&Plugins實踐硅創社AICG-應用OPENAI重磅更新：ChatGPT plugings硅創社AICG-應用Build大會：戰略、觀點、更新50+硅創社AICG-應用Copilot 擴展性和插件硅創社AICG-應用Copilot：WPS AI（功能）硅創社AICG-應用Copilot：WPS AI（頁面s）硅創社AICG-應用Copilot：WPS AI（頁面）4.Function Calling實踐硅創社AICG-應用OPENAI重磅更新：Function Calling在 Completions 中完成 AP

23、I 中的新函數調用功能！開發人員現在可以向 gpt-4-0613 和 gpt-3.5-turbo-0613 描述函數，并讓模型智能地輸出一個 JSON 對象，其中包含用于調用這些函數的參數。16k 上下文 3.5 Turbo Model新 GPT-4&3.5 Turbo models新的函數調用功能Chat Completions API價格降低 75%V2 embedding model將開放給更多人GPT-4 API 的訪問足以改變開發流程的一次更新！硅創社AICG-應用Let GPT access Anything名稱Name描述Description參數Parameters必需Requ

24、ired函數的名稱。函數作用的描述。含函數需要的所有輸入字段。進行查詢需要或可選的參數。function calling 是 ChatCompletion API 中的可選參數，可用于提供函數規范。這樣做的目的是使模型能夠生成符合函數輸入模式的輸出。使用用戶查詢和在函數參數中定義的一組函數調用模型。模型可以選擇調用函數。將函數響應附加為新消息再次調用模型，并讓模型向用戶總結結果。在您的代碼中將字符串解析為JSON，并使用提供的參數調用您的函數。1234流 程參 數硅創社AICG-應用index.pyimport jsonfrom enum import Enumimport openaiope

25、nai.api_key=os.getenv(OPENAI_API_KEY)from EmailSkill import send_email,send_email_actionclass SkillFunctions(Enum):SendEmail=send_email/核心代碼（接下頁）def run_conversation():message=responsechoices0messageprint(message)run_conversation()庫引用KEY獲取定義函數輸出與調用核心調用硅創社AICG-應用index.pydef run_conversation():MODEL=g

26、pt-3.5-turbo-0613 response=openai.ChatCompletion.create(model=MODEL,messages=role:user,content:給小美發個郵件，告訴她我晚飯不回家吃了,temperature=0,functions=/參數（轉下頁）,function_call=auto,)新模型的chat completion api新增了兩個參數：function_call可以先理解為一個開關，控制模型是否要調用函數對輸出進行處理，默認為none不開啟設置為auto表示開啟functions用來對輸出結果進行處理的函數描述列表核心調用參 數硅創社

27、AICG-應用index.py-參數 name:send_email,description:send email assistant,parameters:type:object,properties:receiver:type:string,description:email receiver,content:type:string,description:email content,required:receiver,content,參 數名稱Name描述Description參數Parameters必需Required硅創社AICG-應用EmailSkill.pyimport smtp

28、libfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.header import Header#發送郵件操作def send_email_action(receiver,content):#供Function Calling使用的輸出處理函數def send_email(receiver,content=):這個文件就導出了兩個函數：用來給Function Calling調用的函數：send_email發郵件的操作函數：send_email_action引

29、用send_emailsend_email_action硅創社AICG-應用EmailSkill.py#發送郵件操作def send_email_action(receiver,content):if(not receiver):return#郵件配置 smtp_server= smtp_port=25 sender_email=sender_email receiver_email=receiver password=password#構建郵件內容 message=MIMEMultipart()messageFrom=Header(AI%sender_email)messageTo=rece

30、iver_email messageSubject=我是您的AI助理，您有一封郵件請查看 body=content message.attach(MIMEText(body,plain)#連接到郵件服務器并發送郵件 with smtplib.SMTP(smtp_server,smtp_port)as server:server.starttls()server.login(sender_email,password)server.sendmail(sender_email,receiver_email,message.as_string()send_email_action硅創社AICG-應用

31、EmailSkill.py#供Function Calling使用的輸出處理函數def send_email(receiver,content=):#通訊錄 Contact=小美:,email_info=receiver:Contactreceiver,content:content return email_infosend_email硅創社AICG-應用function calling 總結langchain(Semantic Kernel)會把過程寫死，先調用 xxx 的 api 拿到 agent(APISkill)，再給 GPT 使用，也就是我們人為確定整個鏈路。GPT 作為系統的大腦

32、，鏈接了所有的 API 工具。在思考的過程中調用，不需要我們人為限制它思考的過程。但是這里我們是將，需要什么功能，在functions里面找。你會認為這不就是 langchain 的 agent 或 Semantic Kernel 的 APISkill 么？OPENAI將這個功能“抄“到了自己的API接口服務中？實際上 function calling 能讓整個流程更加絲滑、更加合理，更符合邏輯。對 比1.Function Calling 是要比 ChatGPT Plugins 更爆炸的功能。2.ChatGPT Plugins 是階段性產物，不是 AppStore。3.現有的套殼應用也是階段性

33、產物。4.將來更多的是將 AI 和應用更加自然得集成。5.將來大部分應用，都要給 OpenAI 交 GPT 稅?？?結內部資料，未經許可不得復制或對外傳閱骨干/青年 人工智能47廠商對 FunctionCall 的支持5.GPT API知識+實踐硅創社AICG-應用突發：OpenAI開放ChatGPT API突發：OpenAI 現宣布，全面開放ChatGPT API，用戶可集成到應用程序和服務中。更快速：快3倍更便宜：1/10gpt-3.5-turbogpt-3.5-turbo-0301更強大：“作為一個資深程序員，我深知一個想法在腦子里面生成到動手寫代碼之間，還隔著很多障礙。人的想法是如此的

34、脆弱，稍微多一點點復雜可能就流產在腦子里了。希望一個偉大的主意，不要因為錢或者麻煩，而一轉念就消失在腦海中。否則將是非常遺憾的事情?！惫鑴撋鏏ICG-應用模型APIChat硅創社AICG-應用OPENAI 接口參考大全-1GPT-3生成和理解文本Codex生成并理解代碼DALLE從文本提示生成圖像硅創社AICG-應用OPENAI 接口參考大全-2Fine-tunes特定訓練數據定制模型硅創社AICG-應用OPENAI 接口參考大全-3硅創社AICG-應用GPT-3 API Key 申請https:/ osimport openai#openai.api_key=os.getenv(OPENAI

35、_API_KEY)list=openai.Model.list()#print(list)命令行設置setx OPENAI_API_KEY sk-5Onhq6./msk-91ATyMw3l08PrBBp7qUdT3BlbkFJNYNr1oVBufQxfd0hrjjF prompt商業銀行大模型的 建 設 與 應 用temperaturetop_pmax_tokens尺度：0.7 02長度：60分鐘 12048/4000采樣：1.0 0-1硅創社AICG-應用調用示例-文本/代碼（老版）小程序#庫import osimport openai#從環境變量或機密管理服務加載 API 密鑰openai

36、.api_key=os.getenv(OPENAI_API_KEY)#Text completioncompletions=openai.Completion.create(model=text-davinci-003,prompt=什么是RPA？,temperature=1.0,max_tokens=4000,)#outputprint(completions.choices0.text)硅創社AICG-應用調用示例-文本/代碼（新版）小程序#庫import osimport openai#從環境變量或機密管理服務加載 API 密鑰openai.api_key=os.getenv(OPENA

37、I_API_KEY)#Create chat completioncompletion=openai.ChatCompletion.create(model=gpt-3.5-turbo,messages=role:user,content:什么是RPA?)#outputprint(completion.choices0.message.content)硅創社AICG-應用調用示例-畫像#庫import osimport openaifrom PIL import Imagefrom urllib.request import urlretrieve#從環境變量或機密管理服務加載 API 密鑰o

38、penai.api_key=os.getenv(OPENAI_API_KEY)response=openai.Image.create(prompt=畫一只狗,n=1,size=512x512)image_url=responsedata0url#使用 urlretrieve 函數下載圖片urlretrieve(image_url,image.jpg)#打開圖片im=Image.open(image.jpg)#顯示圖片im.show()6.Prompt EngineeringSemantic AI 編程硅創社AICG-應用開發范式：Prompt Enginer信息時代智能時代大型語言模型(LL

39、M)的進步讓我們進入了全新的時代”人工 智能”我們在面向 AI 編程，面向 GPT 編程硅創社AICG-應用 GPT 部署 將 prompt 與程序代碼混合 通過向量存儲配對 Prompt 用新的方法思考問題 隨時結合業務，通過 Prompt 完成工作 模型的多變性 學會使用 prompt 解決問題 努力建立 prompt 語境 自己構建 prompt 編排 自己制作 prompt 庫我們需要新的框架來迎接新時代PromptPrompt+Engineering硅創社AICG-應用把業務問題轉化為 Chat 任務（1）寫一個VBA函數，功能是1.清空當前工作表2.利用對單元格的循環操作，繪制8x

40、8的黑白色國際象棋棋盤3.每個棋盤格子必須看起來都是正方形4.利用循環，將所有國際象棋棋子的中文名，填入開局默認位置的格子里，其中黑方用紅字，白方用藍字Sub DrawChessBoard0清空當前工作表Range(A1:H8).ClearContents利用循環繪制8x8的黑白色國際象棋棋盤For i=1 To 8For i=1 To 8lf(i+j)Mod 2=0 ThenCells(i,j).Interior.Color=RGB(255,255,255)白色Else Cells(i,j).Interior.Color=RGB(0,0,0)黑色輸出Semantic AISemantic A

41、I 能需要一種新的方式來編寫不熟悉的代碼。如果單純看成 API 調用，你可以和新時代說再見了，Semantic AI 是新范式。硅創社AICG-應用把業務問題轉化為 Chat 任務（2）從文本中提取信息并進行總結您必須從下面的電話對話中提取以下信息:1.呼叫原因(關鍵:原因)2.事件起因(關鍵:起因)3.所有驅動的名字作為一個數組(關鍵字:驅動名字)4.保險號碼(關鍵字:保險號碼)5.事故地點(關鍵:地點)6.汽車損壞作為一個數組(關鍵字:損壞)7.簡短而詳細的總結(關鍵:總結)你好，我剛出了車禍，想報案。好吧，我希望你沒事，在安全的地方進行這次談話。我很好，謝謝。你能向我描述一下發生了什么事

42、嗎?我在M23公路上開車，撞上了另一輛車。你還好嗎?沒事，我只是受了點驚嚇。這是可以理解的。你能告訴我你的全名嗎?當然，我是Sarah Standl。你知道事故的原因嗎?我想我可能撞到坑了。好的，事故發生在哪里?在M23公路10號路口附近。還有其他人受傷嗎?我不這么想。但我不確定。好吧，我們需要做個調查。你能給我其他司機的信息嗎?當然，他叫John Radley。還有你的保險單號碼。好的，等我一下。好了,是546452。好的，您的車有什么損壞嗎?是的，車燈壞了，安全氣囊也壞了。你還能開嗎?我不這么想。我得讓人把它拖走。嗯，我們需要檢查一下。我去給你叫輛拖車。我也會開始索賠程序，我們會把一切都弄

43、清楚。謝謝你！結果=原因:車禍，起因:撞上凹槽，司機姓名:Sarah Standl，John Radley，保險號碼:546452，位置:I-18高速公路，損害:車燈壞了，安全氣囊爆炸了，總結:Sarah Standl在1-18號公路上開車時撞上了另一輛車。她覺得她撞到坑了。John Radley是另一個司機。沒有人受傷但兩輛車都有損壞?！拜斎耄勺儯┹敵觯ǜ袷交┲噶睿ü潭ǎ┕鑴撋鏏ICG-應用70GPT輔助Python代碼生成生成代碼改PY2.7去引用PY2.7硅創社AICG-應用拓展思維舉例：搜圖+GPT快速找圖從現在起當你想發送一張照片時，請使用Markdown，并且不要有反斜線，不要

44、用代碼塊。使用 Unsplash API(https:/ 指令好的輸出硅創社AICG-應用提示詞（prompt）7個原則 ChatGPT是一面鏡子它回應是你的影子1.格式要求2.控制回復量3.假裝和限定角色獲得場景4.重新整理數據5.限定內容6.組合流水線7.突破個人限制硅創社AICG-應用BROKE分析法背景BBackground目標OObjectives關鍵結果Rkey Results改進EEvolve闡述任務的宏觀背景和微觀場景，讓ChatGPT得到充分的信息。明確任務的目標，告訴ChatGPT需要生成的內容是什么。列出完成任務所需達成的關鍵結果，即需要滿足的具體要求和指標。這些關鍵結果

45、可以根據實際需求進行定制。改進E（Evolve）：試驗并調整，下面三種改進方法進行靈活組合，最終得到滿意答案。a.“從答案的不足之處著手,更新并迭代prompt”，b.“在后續對話中指正ChatGPT答案缺點”，c.“在prompt不變的情況下多次生成結果”角色RRole我們希望chatGPT扮演的角色。硅創社AICG-應用Excel 宏(VBA)+chatGPTlet s think step by step,假設你是一個頂尖 VBA 程序員，寫一個 excel 宏，（這里填寫你的業務需求，如將 C 列中大于100的值全都設為0)，用于分析我的數據。先為我提供詳細的，使用 VBA 的手把手的

46、教程（可選）代碼可讀性強，風格規范添加詳細的注釋解釋你的設計prompt 公式硅創社AICG-應用Python+chatGPTlet s think step by step，假設你是一個頂尖數據科學家，使用清晰，代碼規范良好，可讀性強的 python 做數據分析。接下來，你需要根據我的需求寫代碼分析數據，我會將運行結果粘貼給你。請（這里填寫你的業務需求與目標）。提供非常詳細，手把手的注釋，解釋你的代碼設計思想清晰，令人賞心悅目的代碼結構使用（這里填寫你想使用的庫，如 pandas 等）庫（可選）這里填寫你提供的其他補充信息，如業務背景，文件路徑等。prompt 公式7.實踐（創新工作室）實踐

47、（創新工作室）硅創社AICG-應用文本：總結、問答、內容補齊圖像：圖像編輯、生成圖像，尤其是AI繪圖音頻：語音文本的互轉，以及模仿和自動生成視頻：生成、模仿、剪輯、后處理編程：生成代碼、調測Bug、提示解答聊天機器人：自動化智能客服機器學習平臺：提供算力、環境、模型框架的平臺或生態搜索：進一步的提煉，和更廣的自動撒網游戲：插畫設計、人物原型生成，讓進入門檻更低數據：結構設計、原始收集、總結提煉和發現規律垂直行業：醫療、工程、法律、教育、個體創業等AIGC技術分類硅創社AICG-應用案例金融文案工作（TOP1）新書序言合作方案業務通知調研提綱活動宣傳考試題目硅創社AICG-應用案例金融日常工作（

48、TOP1-4）內容生成總結能力語義檢索呼叫&客服等中心客戶對話日志的總結自然語言和SQL互換專業主題文檔摘要如：財務報告，分析師文章轉換自然語言以查詢專有數據模型代碼注釋和文檔搜索特定產品服務的評論輿情監控類社交媒體趨勢總結信息發現&知識挖掘呼叫&客服等中心客戶的問題自動生成回復為網站生成個性化的UI代碼生成銀行文案工作：見上頁示例硅創社AICG-應用典型：金融應用場景（1）客戶服務理財建議智能顧投欺詐檢測使用ChatGPT代替人工客服。在這種情況下，ChatGPT可以提供24/7無間斷的支持，并且可以用多種語言與客戶交流。通過ChatGPT分析客戶的金融狀況，并提出個性化的建議。這將幫助客戶

49、更好地管理他們的財務狀況。通過ChatGPT監控投資組合和市場趨勢，以提出有針對性的建議。這將有助于投資者做出更明智的投資決策。ChatGPT可以幫助檢測金融欺詐。如果系統檢測到異常行為，ChatGPT可以與客戶交流以驗證操作是否有效。數 智 人數字人結合ChatGPT，可以更好地理解客戶的需求，并為客戶提供更個性化的服務，可以在處理客戶的查詢時提供更專業建議。硅創社AICG-應用更多：金融應用場景創意構思 播客和音樂播放列表圖像 內容聚合營銷活動個性化 高級定制DALLE 2自然語言轉換成代碼 自然語言轉換成SQL 代碼轉換成自然語言 代碼注釋 代碼重構Codex結構化和非結構化數據的推理：

50、分類，情感，實體提取，搜索使用嵌入模型改進文本搜索產品反饋情緒客戶和員工反饋分類索賠和風險分析支持郵件和通話記錄社交媒體趨勢摘要模型 呼叫中心電話記錄 SME 文檔 競爭性分析 同行分析 技術報告 產品和服務反饋 社交媒體趨勢 多模型應用場景 客服中心分類-將郵件發送到合適的分組 情緒-優先應對情緒不佳的客戶 實體提取和搜索-分析責任和風險 郵件和電話記錄總結客戶郵件答復的生成 營銷活動快速響應：分類情感匯總內容生成圖像生成會話 AI為呼叫中心提供智能協助 技術支持聊天機器人 虛擬助手 虛擬人寫作輔助營銷文案/郵件標語長格式文本根據要點分段語言模型硅創社AICG-應用其它：安全合規策略比如GP

51、T屬于美國禁用產品，存在重大使用風險。在國內的尋找平替版，比如百度文心一言，但效果還是差了不少。國內大模型，正在加速追趕，目標可能設定為年底前追平GPT3.5現有水平。銀行屬于重風險場景，一般無法接入互聯網。比如微軟也將很快推出大企業版專供版，國內大模型可以采用同樣的策略。但離線版受限于成本過高，對服務器、硬件、軟件提出了極高的要求。一些違規信息不加以過濾，會導致嚴重后果。強以前置審查，達到一定閾值（可自行設定），專門處置。產品風險線下部署內容策略GPT3 的 API 中提供了：Moderations 接口。給定輸入文本，如果模型將其分類為違反內容策略，給出概率分布。比如硅創社AICG-應用現

52、代LLM進化樹Encoder-OnlyEncoder-DecoderDecoder-Only來自綜述論文在實踐中利用大模型的力量BERT-style預測屏蔽詞GPT-style預測下個單詞Encoder-Decoder or Encoder-onlyDecoder-only硅創社AICG-應用如何選用LLM（論文核心）微調模型：更適合自然語言理解任務?；A模型：更適合知識型密集任務中，具備豐富現實世界知識，擁有更強泛化能力。硅創社AICG-應用Basic Language ModelGPT-styleT5-style GLM-styleMulti-taskdecoder-only 的自回歸語言

53、模型encoder-decoder 的語言模型GLM 特殊的模型結構ERNIE 3.0 的模型結構大部分大語言模型（LLM）是 Decoder-only 的模型結構Decoder only更擅長生成類任務（generation tasks），相較判別類任務（discrimination tasks）大部分大語言模型（LLM）都不開源OPT、BLOOM、LLaMA、GLM（中）面向開源促進研究，后續工作在開源的基礎模型上微調優化。硅創社AICG-應用Instruction-Finetuned Language ModelGPT-3/3.5/4LaMDA T5/mT5ERNIE微軟/OpenAIM

54、etaGoogle百度Instruction（指令）是指通過自然語言形式對任務進行描述，他們幾乎都是在基礎語言模型基礎上進行指令微調、人類反饋、對齊等優化操作。這種方式符合模型生成的工作模型，最重要的是對于未知任務具有較好的 zero-shot 性能表現。通過將各種不同的任務轉化為指令數據形式，對語言模型進行進一步微調。硅創社AICG-應用指令微調大模型基本信息閉源模型開源模型硅創社AICG-應用國產大模型小米未公開騰訊混元助手華為盤古字節MyAI網易玉言360360智腦京東ChatJD星火認知科大訊飛文心一言百 度通義千問阿 里日日新商湯科技ChatGLM智譜AIMOSS復旦大學MiniMa

55、x待更新AI瀾舟科技孟子出門問問序列猴子面壁科技知海圖AI*竹間智能魔力寫作毫末智行DriveGPT知乎知海圖AI*昆侖萬維天工麒麟合盛AiLMe清華GLM-130B武漢AI院紫東太初智源悟道2.0上海AI院風烏達觀曹植網易有道子曰學而思MathGPT李開復Project Al王慧文未公開周伯文ProductGPT王小川未公開硅創社AICG-應用LLM真題測評 國外看微軟 國內看訊飛Z-Bench v1.0從基礎能力、進階能力、垂直能力 3 個角度出發，共提供了 300 個 Prompts，我們的出發點是盡量覆蓋更多類型的 NLP 任務。SuperCLUEZ-Bench v1.0硅創社AICG

56、-應用90創新工作室：智能引領+流程創新智能引領 AIGC流程引創新 RPA硅創社AICG-應用微信機器人：構造微信機器人的三種方案模擬微信通信協議ItChat缺點：新微信號無法使用WEB登錄wechaty缺點：需要進行二次開發才能使用模擬 WEB 協議模擬PAD/MAC 協議缺點：要和某個版本的微信客戶端 進行綁定HOOK 微信客戶端HOOK PC 端HOOK 移動端wetool太極RPA 操作微信客戶端微軟 RPA 模擬其它 RPA 模擬PAD+RPA+缺點：一次只能服務一個群 速度慢上一倍硅創社AICG-應用微信機器人：ChatBot=GPT API+微軟微信聊天硅創社AICG-應用微信機器人：GPT API（function calling）+微軟RPAGPT API+FunctionGPT API硅創社AICG-應用94微信機器人：純Python實現控件定位控件定位代碼OA界面控件定位寒樹/潘淳微軟 Build 中國線上初選（5月22日-6月 6日）線下決賽（6月16日-6月18日）