Oracle：Oracle生成式AI和檢索增強生成解決方案（33頁）.pdf

《Oracle：Oracle生成式AI和檢索增強生成解決方案（33頁）.pdf》由會員分享，可在線閱讀，更多相關《Oracle：Oracle生成式AI和檢索增強生成解決方案（33頁）.pdf（33頁珍藏版）》請在三個皮匠報告上搜索。

1、OracleAIOracle China4/1/2024Copyright 2024,Oracle and/or its affiliates 4 OracleAI Oracle OracleAI5生成式AI 模型（LLM）Prompt問題提示內容創作文案編輯（語法、風格）語義搜索聊天/問答實體提取違規檢測語義分析總結Copyright 2024,Oracle and/or its affiliates預訓練階段微調階段LLMLLM博覽群書1000GPU，幾十天專域知識生成式AI（Generative AI），AIGC（AI生成內容），AI文章概括總結和續寫，文字轉圖像，AI數字化主持人等，都

2、屬于生成式AI的范疇。大語言模型（LLM）指的是生成式AI中的參數巨大的自然語言模型。4/1/2024推理OracleAIAIOracleAIOracle AIOCI AILLMAIGPU AI LLM，包括Cohere創建的LLM，需要在OCI上建立大規模的AI基礎設施，以經濟高效的方式訓練，微調和部署其生成式AI模型。OCI客戶可直接使用生成式AI能力，支持微調和部署自定義模型。提供RAG框架相關服務和加速開發包，以及向量檢索的數據庫能力Oracle將在Oracle的云應用、行業應用，其他AI服務和數據庫產品組合中嵌入生成式AI能力。Copyright 2024,Oracle and/or

3、 its affiliates 64/1/2024集成數據平臺和機器學習數據科學數據庫內機器學習數據集成數據目錄GoldenGate&Oracle Data IntegratorAI services和OCIOCI深度集成構建自定義機器學習MLML服務預置的AIAI服務獲取，轉換，精煉和創建NVIDIA AI EnterpriseDGX Cloud開源MySQL HeatWave 自動化機器學習流AI 應用 自定義,Fusion,Cerner,NetSuite,垂直應用數據標簽合作伙伴生態OCI 生成式AI云基礎架構計算網絡存儲安全云原生AI基礎架構數據管理數據流大數據服務自治數據庫對象存儲C

4、opyright 2024,Oracle and/or its affiliates 74/1/2024Digital AssistantLanguageVisionSpeechDocument UnderstandingAnomaly DetectionOCIGPUOCI(OCI Superclusters)(RoCE)v2RDMA 151600Gbps409632,768 NVIDIA A100 GPUNVIDIA H100 GPUGPUOCI(3200Gbps)NVIDIA AI EnterpriseAIAICopyright 2024,Oracle and/or its affilia

5、tesOCI（GPU&Supercluster）Nvidia AI EnterpriseNvidia DGX CloudOCI生成式AI/AI ServiceOCI數據科學服務大語言模型的訓練，部署，推理4/1/20248安全和隱私端到端，簡化為企業設計可針對客戶數據定制API調用或獨立部署OracleAICommand模型此模型可接收用戶的提示并生成文本。Command 有兩種不同的大小，可根據業務用例進行高度定制化，包括文本生成、文本匯總、RAG 和聊天。Summarize模型此模型可對文本進行抽象匯總，支持用戶根據特殊用例需求，使用各種參數來配置結果。Embed模型可將文本轉換為數值向量

6、。提供了英語和多語言模型（支持100 多種語言），包括語義搜索、文本分類、RAG 搜索引擎和舊版搜索改進。Oracle生成式AI Agent RAG Service*Copyright 2024,Oracle and/or its affiliates 94/1/2024AIOCI AI Services 4/1/2024Copyright 2024,Oracle and/or its affiliates10Language語言 語言檢測 實體識別 類別識別 關鍵短語提取 情感分析Speech語音 語音轉文本 語音翻譯 文本轉語音 識別發言者 發言者語氣情緒識別Vision圖像 圖像說明 圖

7、像分類 物體識別（可能性和坐標）人臉識別（部位坐標）Anomaly Detection 分析大量相關數據并以最大的準確性盡早識別出異常 時間序列數據 提供單變量和多元內核Document Understanding OCR-圖像轉文本/標簽 圖片文本提取 圖像轉數據(K-V,表格,地址等)圖片根據文檔分類 OCR-PDF轉文本Data Labeling數據標簽 創建和瀏覽數據集，查看數據記錄（文檔、文本和圖像）標識文檔、文本和圖像（記錄）的屬性（標簽）預置模型的AI服務，可擴展，使用方式：Console,REST APIs,SDK,CLIOCI AI Service4/1/2024Copyri

8、ght 2024,Oracle and/or its affiliates 11針對客戶評價和反饋進行分類，情感分析自動化處理客戶反饋，提高業務效率和客戶滿意度。視頻/圖像/結構化數據REST APIAI VisionEventsData LabelingOCI Vision 支持自定義視覺模型1、Data Labeling對圖片標注2、Vision基于標注的圖片學習建模3、基于自訓練模型識別實體Analytics Cloud ServiceADWData ScienceNotificationsStreamingObject StorageUserLanguageOCI Language：O

9、CI Language提供了文本分類（English，23大類，111小類），實體提?。‥nglish和Spanish，18種常用大類），以及情感分析功能，開箱即用，支持通過Language學習自訓練模型識別機器配件或工具Functions4/1/2024Copyright 2024,Oracle and/or its affiliates 12 OracleAI Oracle OracleAIAICopyright 2024,Oracle and/or its affiliates13幻覺聽起來似是而非的虛假信息自信的響應無法通過訓練數據證明安全模型操縱風險：深度偽造和惡意攻擊數據安全風險：

10、隱私泄露或知識產權竊取倫理偏見和問責透明度和社會影響實時性基于過去的歷史數據學習和推理不了解私有信息或企業內部信息4/1/2024(RAG)Copyright 2024,Oracle and/or its affiliates14新問題”呼叫中心解決方案?”響應大模型挑戰：幻覺，安全，實時性，倫理聊天上下文Embedding Model”方案至少包括如下內容：背景，痛點，產品.價值”增強提問向量數據庫相似性搜索業務數據向量ID匹配檢索增強問題增強的問題+相關背景內容+項目示例+已知問題+預期的輸出格式.獲取匹配ID的文檔私有數據embedding響應LLMOCI AI Agent RAGVM.

11、GPU.A10.1或LLM4/1/2024Copyright 2024,Oracle and/or its affiliates 15機器抽象出成百上千個維度（數字）代表文檔的不同特征向量Vector特征Features.注：人工智能中向量的特征是由機器學習算法確定的，因此實際并不像此處所示的那么簡單4/1/2024AISQL EmbeddingVECTOR SQL Oracle 23cRAG16Copyright 2024,Oracle and/or its affiliates SELECT FROM tbl_kms_solution WHERE investment=(SELECT bu

12、dget FROM customer)AND industry in (SELECT industry FROM customer)ORDER BY vector_distance(text_vec,:input_vector);CREATE TABLE tbl_kms_solution(km_id number,Industry varchar2(400),catalog varchar2(400),doc blob,text_vec vector，);例如“好的數據庫企業級解決方案”，embedding以后，生成一個1000維的向量，。4/1/2024SQL EMBEDDINGSOracl

13、e 23cAI17圖片/文本Embedding Generation圖片文檔等向量化存放在數據庫中EMBEDDING(text2vec USING CLOB)相似圖形向量搜索select id,doc from tbl_kms order by VECTOR_DISTANCE(text_vec,EMBEDDING(text2vec USING:input_text)fetch first 2 rows only;向量存儲在數據庫中，提供高效索引Copyright 2024,Oracle and/or its affiliates 模型自動根據方案生成成百上千維度的向量(語義，概述，情感，標注。

14、）7 1 4 93 7 2 19 3 0 97 2 4 6文檔，手工記錄文檔，手工記錄圖片/文本Embedding Generation輸入查詢文本問題1相關的文檔輸出匹配結果相關的文檔4/1/2024SQLOracleAI18Oracle 融合數據庫，支持所有類型的工作負載和數據模型如圖、文本、JSON、地理信息、關系型等，也支持所有SQL，包括復雜的運算和功能只有Oracle 數據庫才能把向量數據搜索和關系型數據一起合成復雜的、融合的SQL查詢，產生業務價值找到符合條件的項目資料（立項/案例），需要和當前項目或產品有關系，過去五年內，按照產品和供應商分組統計項目個數，至少有超過5個成功實施

15、案例。排名前3個相似的項目材料還可以有更多業務條件，例如文檔權限，部門，行業，類型專用向量數據庫很難做到這一點，往往要多次查詢和結合其他Graph(有關聯關系)Relational(過去5年)Group by(按供應商分組,統計數量)Having ClauseHaving count 5Vector Search(和詢問的問題相似的內容)Top-3(top 3 documentper matching group)Copyright 2024,Oracle and/or its affiliates 4/1/202419Oracle AI VectorOracleRAC 集群分區并行執行APE

16、X分析安全Copyright 2024,Oracle and/or its affiliates 事務Exadata4/1/2024集群，高可用，擴展數據分布，加速查詢數據一致性加密，脫敏，審計低代碼開發，應用加速查詢和處理模式匹配，ML，多維預置加速優化，整合3.Embedding3.Vector 數據庫4.問題相似度匹配5.提示詞工程6.LLM Model2.文本加載&Splitter1.收集數據用戶7.結果返回PDF/TXT/Doc/Web1.輸入問題向量知識庫匹配結果作為上下文2.Embedding4.Vector 數據庫構建知識庫檢索式增強生成（Retrieval Augment G

17、eneration）RAGLLM結果 和 向量知識庫匹配結果AI/Oracle4/1/2024Copyright 2024,Oracle and/or its affiliates 20如產品說明文檔、FAQ、客服歷史記錄等材料，借助LLM+Embedding+Vector Database等技術構建企業專屬知識庫，提供給內部員工,外部用戶使用或應用調用分析推薦銷售客服內容創作，潤色概括，總結咨詢建議檢索，分析APEXSQLOracleSelect AI4/1/2024Copyright 2024,Oracle and/or its affiliates 21設置上下文識別源表和元數據構建提示

18、提示=說明+上下文+用戶問題發送提示以生成 SQL返回SQL執行/AICopyright 2024,Oracle and/or its affiliates 22Marketing Mgr.新產品輸入產品屬性生成產品介紹生成產品廣告詞【OCI Generative AI】1生成產品廣告圖片【Stable Diffusion】2基于數據庫內數據分析找到類似產品中銷售最好的產品利用機器學習分群和預測找到目標客戶【select AI】自動生成郵件草稿 基于產品屬性和客戶信息【OCI Generative AI】發送推薦郵件給目標客戶3客戶 Q&A 通過 RetailGPT 【OCI Generati

19、ve AI】4Customer4/1/20244/1/2024Copyright 2024,Oracle and/or its affiliates 23 OracleAI Oracle OracleAI人工智能4/1/2024Copyright 2024,Oracle and/or its affiliates 24描述性分析診斷性分析預測性分析指令型分析發生了什么哪里發生的哪些因素相關如何解決會發生什么？發生的可能性？做什么會發生？該如何去做？數據挖掘機器學習GenAILLM生成式AI（Generative AI）。AI文章概括總結和續寫，文字轉圖像，AI數字化主持人等，都屬于生成式AI的

20、范疇。大語言模型（LLM）指的是生成式AI中的參數巨大的自然語言模型。深度學習分析型AI（Analytics AI）。通過算法和數據，識別數據中存在的模式，構建模型，解釋發生的現象，對有可能發生的情況做進一步預測。AIAIAI2024/4/1Copyright 2024,Oracle and/or its affiliates 25語言和模態微調預訓練部署方式AI Agent檢索增強生成知識庫數據聊天機器人工具流程開發AIAIAI2024/4/1Copyright 2024,Oracle and/or its affiliates 26語言和模態微調預訓練部署方式AI AgentRAG向量數據

21、庫數據聊天機器人工具流程開發AI AgentRAG搜索引擎數據AI AgentRAG向量數據庫數據AI AgentRAG向量數據庫數據AI2024/4/1Copyright 2024,Oracle and/or its affiliates 27AIAI語言和模態微調預訓練部署方式聊天機器人工具流程開發企業級AI平臺企業級數據平臺AI Agent檢索增強生成業務數據AI AgentAI AgentAI 應用非結構化數據半結構化數據結構化數據圖數據JSON數據文件/視頻/其他向量數據AI生成SQLAI算法專業知識庫企業級知識庫AI應用支撐AI數據支撐AI 分析數據為體，全企布局；場景為用，體用融

22、通AI2024/4/1Copyright 2024,Oracle and/or its affiliates 28AIAI語言和模態微調預訓練部署方式聊天機器人工具流程開發企業級AI平臺企業級數據平臺AI Agent檢索增強生成業務數據AI AgentAI AgentAI 應用非結構化數據半結構化數據結構化數據圖數據JSON數據文件/視頻/其他向量數據AI生成SQLAI算法專業知識庫企業級知識庫AI應用支撐AI數據支撐AI 分析數據為體，全企布局；場景為用，體用融通Oracle數據庫 23CADB-Select AIML4SQL/Python/ROCI Digital AssistantOCI

23、 AI ServiceAPEXData ScienceOCI AI Agent ServiceOCI Generative AI和CPU等相關能力生成式人工智能和RAG允許自然語言提出問題和意圖，自動生成 數據訪問模型（JSON 二元性）、低代碼開發（APEX 藍圖）、數據查詢（SQL）等。為生成式AI提供檢索增強生成（RAG）支持，結合企業自有數據，提升大語言模型的準確性和信息實時性Oracle23C:為大語言模型提供各種格式的高質量數據結構化，JSON，地理，屬性圖，向量協作7 1 4 97 1 4 94/1/2024Copyright 2024,Oracle and/or its aff

24、iliates29JSONSELECT SUM(A.),A.,AVG(JSON_VALUE(B.BC_json,$.buykpi)ASFROM CY_ALLALEFT JOIN TBL_BC_JSON BON A.=JSON_VALUE(B.BC_json,$.dis)GROUP BY A.;Graph AnalyticsSELECT c1,e,p,e1,c2FROM MATCH (c1)-e-(p)-e1-(c2)on CUST_BUYWHERE c1.cust_id=1246813AND C2.cust_id=1002487LIMIT 100;Spatial10Analytics View

25、custbuy_modeSELECT A.ID,A.NAME,A.Long,A.Lat,sdo_nn_distance(1)as distanceFROM tbl_store A,tbl_station BWHERE B.ID=736 and SDO_NN(A.shape,B.shape,sdo_num_res=10,1)=TRUEORDER BY distance;SELECT sh_time_hier.member_nameAS,sh_time_hier.level_nameas,sh_product_hier.member_name AS,sh_product_hier.level_na

26、me as,AMOUNT_SOLD asFROM sh_sales_av HIERARCHIES (sh_time_hier,sh_product_hier)SELECT ROUND(PREDICTION_PROBABILITY(custbuy_model,P2 USING 42 as age,1 as car_type,2 AS cust_level,AS gender,),3)PROBABILITY_BUYFROM DUAL;SQL(REST APISQL4/1/2024Copyright 2024,Oracle and/or its affiliates 30Text IndexSear

27、chJSONSLECT ID,custid,jtext FROM tbl_order_comments tWHERE json_textcontains(t.jtext,$.comments,)ORDER BY ID;Oracle4/1/2024Copyright 2024,Oracle and/or its affiliates31BOMSelect AI/BOM4/1/2024Copyright 2024,Oracle and/or its affiliates32Oracle提供的服務和產品技術特點9機器學習和數據平臺Oracle Database，ML4SQL/R/PythonExad

28、ata/Exadata CloudCustomer開箱即用經典算法，按需部署，有制造行業實際案例檢驗和最佳實踐8檢索增強生成（RAG）/知識庫/向量數據庫Oracle Database,OCI Heatwave多模數據庫，結合客戶業務和其他數據，安全，易用，適用廣泛7生成式AI和SQL結合OCI ADB開箱即用，結合客戶表結構6應用和場景Oracle SaaS(內置AI能力）開箱即用，結合客戶數據5應用中使用AI服務能力OCI AI Service+客戶數據(視頻+語音+文本+機器人）開箱即用，API或界面，結合Data Labeling對數據標注和訓練4自定義模型OCI 生成式AI+客戶數據可針對客戶數據微調，數據隔離3開箱即用的Gen.AI服務OCI 生成式AI服務開箱即用，企業級，可獨立服務器，按需計費2模型Cohere，開源，OCI Data Science開發，訓練，部署協同開發平臺，簡化開發訓練和部署過程1算力OCI SUPPER Cluster/GPU/CPU性價比，高速聯通網絡，資源 Oracle AIOracles AI is4/1/2024Copyright 2024,Oracle and/or its affiliates33掃碼加入:數據庫和云講座群數據庫和云講座群20-23甲骨文云技術公眾號技術專家1V1深入交流