王楠-尋找 AI 變革下的不變需求：工具開發者視角下的 2023-掘金.pdf

《王楠-尋找 AI 變革下的不變需求：工具開發者視角下的 2023-掘金.pdf》由會員分享，可在線閱讀，更多相關《王楠-尋找 AI 變革下的不變需求：工具開發者視角下的 2023-掘金.pdf（20頁珍藏版）》請在三個皮匠報告上搜索。

1、王楠Jina AI聯合創始人兼CTO尋找AI變革下的不變需求：工具開發者視角下的2023BerlinHQ$38MShenzhenBeijingJina AI成立于2020年2月累計融資美金當大家都去挖金礦時你應該去賣鏟子PromptPerfect：優化200+萬條提示詞SceneX：處理150+萬張圖片全球首款支持8k輸入長度的開源向量模型性能與閉源商業模型齊平HuggingFace下載約100萬次支持英文、中文、德語jina(19.4k)clip-as-service(12k)DocArray(2.6k)disco-art(3.8k),dalle-flow(2.8k)從神經搜索到大模型應用變

2、化，工具開發者的焦慮jina vs langchainSource:https:/github.blog/2023-11-08-the-state-of-open-source-and-ai/ChatGPT is announced在焦慮中開始變化1：AI應用開發工具使用者Source:h=ps:/arxiv.org/pdf/2306.15033.pdf/流行的AI應用工具第一時間支持javascript生成AI項目總數相比2023增248%Hugging Face Hub模型總數相比2023增加300%Reference:https:/huggingface.co/blog/cv_state

3、,2024.1.18,there are 471,831 models 變化2：AI模型的使用方式Source:https:/pypistats.org/packages/modalSource:https:/pypistats.org/packages/replicateSource:h=ps:/pypistats.org/packages/cog 主流模型部署平臺的持續增長 主流模型廠商都提供API接口 本地部署框架下載量下降變化3：開發工具本身 大模型數量在2023年快速增長 模型加速工具不斷涌現 vllm,deepspeed,tgi,fasDransformer,tensorRT,me

4、gatron,colossal-AI,BMTrain 應用框架變化相對不大 RAG應用搭建主流依舊是langchain,LlamaIndexSource:h=ps:/pypistats.org/packages/langchainSource:https:/pypistats.org/packages/llama-index原因1：模型更強 模型在通用任務上的表現追評人類專家 使用SFT工具快速完成任務適配 自然語言作為交互形式，效果直觀可見 縮短Time-to-MarketSource:https:/arxiv.org/abs/2303.08774原因2：模型更大7B Model=10Gb

5、VRAMRTX 3090 or 409013B Model=12Gb VRAMRTX 3090 or 409070B Model=80Gb VRAMA100 80Gb Llama 70b：￥3萬/月 云廠商和大模型廠商的在補貼大家的使用Source:https:/www.1001epochs.ch/blog/hosting-llama-2-a-comprehensive-guide-to-costs-model-sizes-and-cloud-requirementsSource:h=ps:/pypistats.org/packages/langchain原因3：模型和商業應用都有待繼續探索

6、國外發布大模型138個，中國累計發布130個 多數生成AI項目并沒有投入生產Source:賽迪顧問2023大模型現狀調查報告開發者不變的需求：節省開發時間Dos#2Dos#1理解開發者日常工作（使用LLM搭建QA bot，Hugging Face提供Transformers微調模型）理解開發者實際遇到的問題（LLM無法準確處理長文本）理解開發者的實際任務需求（搭建探索性項目）融入現有生態系統（Langchain支持400+工具，支持Kubernetes部署）與開發者的日常工具集成（LLMs提供python、node.js等客戶端）避免用戶自己配置造成錯誤（在不同云廠商的Marketplace提

7、供服務）Dos#3持續收集用戶反饋，不斷更新優化（Llmaindex對jina-embeddings-v2的t+1支持）Donts#1Donts#2自動化簡單的機械重復工作（提供調用LLMs的API，Llama.cpp適配不同LLMs）基本功能開箱即用（LangChain提供基本的RAG應用）節省開發者試用成本方便用戶進行定制化修改（構建自己的chain，LangChain的貢獻者高達2000多人）提供擴展性（滿足不同規模的需求，LangChain提供LangChain Smith）節省開發者維護成本通用模型繼續同質化算力問題緩解更多使用私有數據文字是核心交互方式展望2024展望1展望2展望3

8、 Scaling law繼續有效，訓練方法收斂到最優 技術路線同質化 行業和領域模型涌現 transformer模型的天花板 商業LLM公司的人才和資金優勢 更多的芯片供給，更快地芯片 變緩的芯片需求 訓練和推理效率的提升展望4展望52026年之前窮盡高質量文本，2030-2050年窮盡低質量文本使用大模型生產數據成為必須私有數據成為熱點LLM相對技術更成熟多模態的成本高開發工具進一步細化，滿足多樣化需求https:/arxiv.org/pdf/2211.04325.pdfWe tend to overes+mate what we can achieve in 6 months and underes+mate what we can achieve in 18 months.-Ma%RikardsTHANKS