Cognition 團隊通過 SWE-bench 測試評估 Devin，要求 agent 解決在開源項目中（如 Django 和 scikit-learn）找到的真實世界 GitHub 問題。Devin 正確解決了 13.86%的問題，超過此前大模型的最好表現（Claude2，4.80%）。