《3-尹順順-Soul的AI社交探索.pdf》由會員分享,可在線閱讀,更多相關《3-尹順順-Soul的AI社交探索.pdf(25頁珍藏版)》請在三個皮匠報告上搜索。
1、尹順順尹順順Soul AI技術負責人Soul的的AI社交探索社交探索2025/04/25CONTENT目錄認識Soul01Soul核心技術02Soul AI產品展示03Soul AI社交思考04認識SoulSoul核心玩法靈魂匹配群聊派對廣場瞬間用戶私聊平臺游戲陌生人社交的痛點Soul的AI解法Soul核心技術自研2.7B大模型架構對話模型2022.082023.05Pretrain+sft+3000億token多模態|時間感知|知識性升級7.1B對話大模型SoulX開展人設對話技術自研長記憶|RAG2023.082024.06SoulX2推出端到端語音通話系統超擬人性,全鏈路延遲1.6s20
2、22.12Soul首個大模型結構的對話產品AI茍蛋上線人設對話效果打平行業主流異世界回響上線2023.102023.12狼人魅影Agent上線聊天助手上線數字分身代理上線2024.032024.09落地虛擬伴侶+語音通話落地AI群聊房主自研技術產品創新Now實時talking head全雙工音視頻通話探索中Soul AI整體布局Now基于實時視頻生成的數字人直播Soul 數字分身(2024.03)阿里云PAIPAI-Megatron-Patch模型訓練加速框架PAI-BladeLLM高效推理服務引擎基于形象id、音色克隆建模表征層基于用戶畫像、社交關系建模身份層基于用戶畫像、內容互動、對話觀點
3、建模認知層構建對話、互動預測、身份識別、多模態等多種預訓練任務,融入LLMClip hs對話session存儲hbaseadaptorwhisperadaptorClip hsadaptor用戶信息對話內容發帖信息記憶內容圖片emb音頻emb表情包embprompt壓縮網格adaptor8*358432*358416*35841*3584336*336*3336*336*330sSoul 長上文壓縮(2024.03)兩階段學習一階段做文本自編碼器任務,凍結LLM,僅微調壓縮網絡二階段做對齊任務+自編碼器任務,壓縮網絡&LLM參數全部放開壓縮率超20CE-LossLLM-DecoderCompr
4、ess-CrossAttnCompress-LLM我是孫悟空我在花果山CE-LossLLM-Decoder你 是 誰 s e p 孫 悟 空Compress-CrossAttnCompress-LLM我是孫悟空我在花果山Stage-1Stage-26月底推出的SoulX-VoiceGPT4o的端到端架構基于通義funcodec+SoulX-base全鏈路延遲1.6s可完全脫離ASR(可選)具備基于LLM的語義判停chat+funcodecLLM+VAD判停流式LLMchat+funcodec+asrfuncodec解碼1s200ms片段上文聊天USERaudio_token4921062/au
5、dio_token asr asr內容/asr ROBOT asr待推理的asr/asr audio_token 待推理的離散編碼/audio_token Soul 語音通話系統V1(2024.06)AI自主決定說話時機無VAD和延遲概念,告別一來一往AI可能會主動說話AI可能會不回復你AI可能會回復很多句AI可能會打斷你AI可能會和你合唱,同時說話吵架AI可能和你連麥睡覺Soul 全雙工語音通話系統V2(Now)極簡技術圖CVPR 2025 Teller:Real-Time Streaming Audio-Driven Portrait Animation with Autoregressi
6、ve Motion GenerationSoul Real-time Talking Head(2024.09)Soul Real-time Talking HeadSoul 數字人實時視頻生成(Now)streaming audio encoderstreaming video decoderSoulX Videostreaming posereference encoderAR極簡技術圖Soul AI產品展示國內首家語音狼人殺落地強化學習提升發言、決策質量Soul AIGC應用短片介紹國內首家語音狼人殺落地強化學習提升發言、決策質量Soul AI狼人覺醒長記憶多模態感知超擬人音色GPT4O
7、端到端架構用戶信息融入模型時間空間感知AI自主內容運營Soul 虛擬伴侶長記憶多模態感知超擬人音色GPT4O端到端架構用戶信息融入模型時間空間感知AI自主內容運營Soul 語音房AgentAI讀文房主AI評測房主多Agent互聊(內測)Soul 數字分身數字分身制作數字分身輔助聊天形象分身Soul AI社交思考AI BeingHuman Being創建AI賬號矩陣兼具擬人性和工具性AI深度融入社交網絡發現&滿足用戶需求AI占卜師數字分身數字分身代聊AI聊天助手AI茍蛋AI情感伴侶AI群聊房主持人AI內容自主運營社交催生AI需求,AI需求很難催生社交AI去找用戶,而不是用戶去找AI大模型的普及有利于用戶AI心智養成用戶能做的,AI都能做的更好AI修圖師AI狼人殺人類和AI共存的社交網絡社交需求一直存在社交資源失衡虛擬并不是不存在情緒價值是真實的時間投入、共同記憶是沉淀關系的核心技術進步帶來的心智變化人類為什么接受AI社交?謝謝Thank You