OpenAIの新テストで奇しくもClaudeが最高得点　3.5 Sonnetのシステム開発能力を探る

OpenAIは2025年2月19日、人間のエンジニアのような能力を評価する新しいベンチマーク「SWE-Lancer」を発表した。実際のフリーランス開発案件をベースとしたテストで、コーディングに留まらない総合的なエンジニアリング能力を評価するテストとなっている。

参考 : OpenAI、人間のエンジニアのような能力を評価する新たなベンチマークテストを発表

ただ、今回の新しいテストでは、興味深い結果が見られた。このテストで最高点を記録したのは、OpenAIの最新モデルGPT-4oではなく、AnthropicのClaude 3.5 Sonnetだったのだ。Sonnet 3.5は2024年6月に公表されたモデルだが、最新のテストでその性能が再評価された形になる。

OpenAIの新テストで証明された実力

AnthropicはOpenAIの元従業員によって設立された企業で、安全性と倫理性を重視したモデル開発を進めている。主力製品であるClaudeは、特にプログラミングと論理的思考において高い評価を受けているAIモデルだ。

OpenAIが発表したSWE-Lancerは、1,400以上の実際のフリーランス案件を評価基準として採用し、単純なコーディングだけではなく、総合的な開発力をテストするものだ。このテストでClaude 3.5 Sonnetは、26.2%の課題解決率を記録し、GPT-4oの8.0%を大きく上回る結果となった。特にマネジメント判断を要する課題では44.9%の成功率を示した。コーディングにとどまらない総合的な能力に長けていることが証明されたのである。

システム開発でのClaudeの有効性

システム開発において、3.5 Sonnetを評価する声は以前からあった。
qodoの記事によると、Claude 3.5 Sonnetは、複雑なコード構造の生成やデバッグ作業などの複雑なタスクでも、高い精度を維持したという。
さらに16x Promptのレポートでは、大規模なシステムの設計において、将来の拡張性や業界での標準的な手法を考慮した提案が可能だと指摘している。予期せぬ状況や例外的な場合への対応も充実しており、実際の開発現場で求められる品質水準を実現しているとのことだ。

Claudeの今後

9metersの報道によると、2025年2月末から3月初旬にかけて、次世代モデルとなるClaude 4.0がリリースされる見込みだという。新モデルは深い推論能力と迅速な応答性を組み合わせることで、さらなる性能向上が期待されるとのこと。
また、法的調査、科学的発見、データに基づく意思決定などの分野で、GPT-4を上回る論理的推論能力を発揮する可能性があるということだ。
ただし、現時点でAnthropic社からの公式発表はなく、業界関係者からの情報に基づくものであることに注意が必要だ。

今回のSWE-Lancerでの好成績は、システム開発におけるClaudeの有効性を改めて示すものとなった。Claude 4.0の登場が待ち望まれる。