5 張貝貝 Google Cloud 生成式AI助力開發者創新.pdf

《5 張貝貝 Google Cloud 生成式AI助力開發者創新.pdf》由會員分享，可在線閱讀，更多相關《5 張貝貝 Google Cloud 生成式AI助力開發者創新.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、Google Cloud 生成式AI助力開發者創新張貝貝 谷歌云客戶解決方案架構師Gemini is coming!GeminiGoogle 是 Google 規模最大、最強大的多模態 AI 模型Gemini Ultra 最大、最有能力的高度復雜任務模型Gemini Pro 可擴展各種任務的最佳模型Gemini Nano 設備端最高效的任務模型Gemini Demo Show Time我看到一個人的右手。手張開，手指分開。一個人敲木門。我看到一個人的右手。手張開，手指分開。你在玩石頭、剪刀、布。告訴我你看到了什么你覺得我在做什么？提示：這是一個游戲。我在玩石頭剪刀布。你注意到我的游戲玩法中有一

2、個模式嗎？你在石頭和剪刀之間交替。嗯你認為這是一個好的策略嗎？不，這不是一個好的策略。你的對手會很快了解你的模式，并且每次都能獲勝。你應該嘗試更多地隨機化你的選擇。Gemini Demo:空間推理和邏輯這是正確的順序嗎？考慮與太陽的距離并解釋你的推理。Gemini：不，正確的順序是太陽、地球、土星。太陽距離太陽系中心最近，其次是地球，然后是土星。這些汽車中哪一輛更具空氣動力學性能？左邊那個還是右邊那個？使用具體的視覺細節解釋原因。Gemini：右邊的車更符合空氣動力學。它具有更低的輪廓和更流線型的形狀。左邊的汽車輪廓更高，形狀更四四方方，這使得它的空氣動力學性能較差。Gemini Demo:圖

3、像序列猜猜我演什么電影Gemini：黑客帝國好的！但具體是哪一部分呢？看我的肢體動作。Gemini：尼奧躲避子彈的部分。Gemini Demo:魔術解釋一下我在做什么。Gemini：你右手拿著一枚硬幣。你認為硬幣在哪里？Gemini：硬幣在你的右手?？纯催@里，發生了什么？Gemini：硬幣不見了。從第一張圖片開始，逐步總結可能發生的情況。Gemini：1.一開始，你右手拿著一枚硬幣。2.然后你用手做了一個動作，硬幣就消失了。3.然后你表明硬幣不見了。你能解釋一下它是如何消失的嗎？Gemini：硬幣被藏在了手心里Gemini Demo:搶先一睹給我三個關于我可以用這兩種顏色制作的鉤針作品的想法G

4、emini 顏色，我看到藍色和黃色紗線。想法 1：一只長著一只黃耳朵的可愛狗怎么樣？想法 2：或者有一些黃色觸手的水母怎么樣？想法 3：或者一只黃鼻子的藍貓怎么樣？Gemini 多模態如何運作Text-Image 模型的原始方法：視覺編碼器和LLM的結合Gemini：適用于所有模式的統一嵌入空間Gemini 基準測試:最先進的性能Gemini 在文本和編碼等一系列基準測試中超越了最先進的性能。Gemini 在一系列多模式基準測試中超越了最先進的性能。Google Cloud 生成式 AI這場革命始于 Google，我們不斷創新Responsible AI at the foundation谷歌

5、發明Transformer 啟動LLM 革命谷歌開創性的大型語言模型 BERTText-to-Text Transfer Transformer LLM 10B P 模型開源谷歌 LaMDA 模型經過訓練可以進行對話AlphaFold 預測所有已知蛋白質的結構業界領先的大語言模型由 LaMDA 提供支持的對話式人工智能服務。Google Research 推動了一系列模型的發展Google Clouds 生成式 AI 產品組合支持以 GenAI 為中心的企業發展需求SearchAI SolutionsContact Center|Document|Risk AI|Healthcare Insi

6、ghts SolutionsAI PlatformExtension|Connectors|Grounding Prompt|Serve|Tune|Distill|EvalConversationBuild your own generative AI-powered agentsModel GardenGoogle|OSS|Partner ModelsGoogle Cloud Infrastructure(GPU/TPU)|Google Data CloudVertex AIBroad Ecosystem of PartnersResponsible AIEmbeddings API for

7、 Text and Image從非結構化數據中提取語義信息PaLM for Text自定義語言任務Chirp for Speech to Text構建支持語音的應用程序PaLM for Chat具有會話上下文的多輪對話Codey for Code Assistance改進編碼和調試Imagen for Text to Image根據簡單的提示創建和編輯圖像Now in GANow in GA核心基礎模型跨越各種模型尺寸來解決用例Now in GANow in GANow in GANow in GAPaml2 Bison002 和 Unicom001 版本也已經發布可用！Google、開源和第

8、三方基礎模型的選擇和靈活性多種模式可匹配每個用例 多種模型大小可滿足成本和功效需求針對專業行業的特定領域模型企業已做好安全、保障和責任準備延長部署時間完全集成平臺的價值Vertex AI Model Garden 中有 100 多個企業級基礎模型Google Foundation ModelsGoogle Task Specific ModelsGoogle Domain Specific ModelsPartner&Open EcosystemCodeyImagenChirpPaLM 2EmbeddingsSpeech-to-TextText-to-SpeechNatural Languag

9、eTranslationVisionVideo IntelligenceDoc AI OCROccupancy analyticsMed-PaLMLife Science and HealthcareSec-PaLMCybersecurityLlama 2Code LlamaFalconClaude 2Pre-announceVertex AI Model Garden Generative AI Studio 一種簡便易用的低代碼工具，用于交互、調優和部署基礎模型For creators(UI),app developers(API),and AI practitioners(fine-tu

10、ning)在 Vertex 機器學習平臺上管理基礎模型原型設計 Vertex Generative AI Studio開發 Vertex SDK調優作業 Vertex Training 作業經過調優的模型 Vertex Model RegistryFM 服務 Vertex Predictions(500+GB 模型)提驗證、評估、RLHF Vertex 流線組件Task SpecPrompts/OutputsLatency/CostConstraints&TradeoffsTraining vs InferenceFrequencyAdd more labelled/unlabelled da

11、taSelect ModelFine-tuningPromptDesign/tuningDistillation(compressior)ServingResourceConfigurationActionable InsightQualitymeasurementsCostCustomer InputsCustomer Decision SpaceCustomer Value and Cost使用 Vertex AI 快速構建搜索和對話輕松快速構建可行的解決方案Vertex AI Search&Conversation 解決了實施 Gen AI 的挑戰擁有安全且值得信賴的品牌代表滿足請求，采

12、取行動獲得有用且相關的答案生成式定制和控制，以限制不良體驗并確保產品和數據質量；掌控平臺進行迭代和改進！開箱即用的用例和平臺工具可以快速輕松地創建應用程序與企業工作流程和連接器集成以處理和自動化操作以機構數據和企業工作流程知識為基礎，收集相關信息挑戰為開發者構建的平臺Vertex AI 結合了 LLM,Search,and Conversation 的力量TransactionsGenerative fallbacksRich answer cardsConversational answersGenerative resultsSearch/List of resultsUserConsum

13、erOrchestratorExtensionsGroundingConnectorsVertex AI searchVertex AI conversationPowered by foundation modelsVoice action/transactionMulti-turn dialogChit ChatProduct CatalogueNatural language queryInput SourcesInputAnswer FormationOutputVertex AI Search為企業應用和消費者網站提供相關的，個性化的分鐘級搜索體驗為客戶和員工快速建立 Google

14、品質的多模態、多輪搜索體驗提供企業數據中的搜索結果或將其與世界知識結合在一起。企業訪問控制確保信息僅向有權訪問的用戶顯示。數據 connector 和 extension 連接到后端系統以進行操作或從第三方應用程序（例如 Salesforce 等）讀取數據。使用匹配引擎進行向量搜索，用于跨不同類型的數據進行搜索如引文、相關性分數、摘要、靈活的大語言模型風格prompt 等有用的功能有助于知識發現和提升對搜索結果的信心結合生成式AI的確定性工作流，使對話動態和個性化多模態支持 圖片，語音，文本基于大量數據訓練 來自網站，文檔，FAQ,郵件和代理對話歷史支持交易連接后臺系統或是三方應用，完成交易比如付款預定等。Generators 和 generative fallbacks 將動作和預編程對話注入工作流客戶服務的有用功能總結，生成式 FAQ，來源和代理助手Vertex AI Conversation基于生成式 AI 和企業數據對齊構建自定義對話和語音客服完全集成于現有Contact Center AI 產品Thanks!