// agents · SWE-bench/SWE-bench

SWE-bench

SWE-benchは、SWE-benchが公開しているオープンソースのAIエージェントプロジェクトです(GitHub: SWE-bench/SWE-bench)。GitHubスターは5,986、フォークは1,004で、MITライセンスの下で公開されています。GitHubでの最終更新は2026年9月18日です。

The benchmark that grades AI on real GitHub issues.

★ 6.0k スター⑂ 1.0k フォークMIT更新 2026年9月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

リポジトリ
SWE-bench/SWE-bench
GitHubスター
5,986
フォーク
1,004
ライセンス
MIT
GitHubでの最終更新
2026年9月18日
掲載タイプ
完全なインストールガイド
公式サイト
Official site
// 仕組み

仕組み

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// 機能

選ばれる理由

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// 自分で実行

自分で実行してみる

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// 活用例

作れるもの

Advertisement
// よくある質問

よくある質問

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// さらに探索

似ているツール

AIエージェント

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20.5k スターMIT
ガイドを見る →
AIエージェント

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2.2k スターMIT
ガイドを見る →
AIエージェント

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 スターMIT
ガイドを見る →
AIエージェント

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33.4k スターMIT
ガイドを見る →
AIエージェント

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2.2k スターAGPL-3.0
ガイドを見る →
AIエージェント

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 スターApache-2.0
ガイドを見る →
// 代替候補

代替候補: AIエージェント

LibreAIカタログに掲載されたAIエージェントプロジェクトの中で最もスターの多いもの — SWE-benchが合わなかった場合に検討したい、現実的な候補リストです。

// さらに見る agents

さらに見る: AIエージェント

カタログの中でSWE-benchとスター数が近いAIエージェントプロジェクト — 前後の棚もそのまま見て回れます。

SWE-benchを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。