LibreAI / Agents IA / SWE-bench
// agents · SWE-bench/SWE-bench

SWE-bench

SWE-bench est un projet de agents IA open source, créé par SWE-bench (SWE-bench/SWE-bench sur GitHub). Il compte 5 986 étoiles sur GitHub et 1 004 forks, il est publié sous la licence MIT et a été mis à jour pour la dernière fois sur GitHub le 18 septembre 2026.

The benchmark that grades AI on real GitHub issues.

★ 6,0 k étoiles⑂ 1,0 k forksMITmis à jour sept. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
5 986
Forks
1 004
Licence
MIT
Dernière mise à jour sur GitHub
18 septembre 2026
Catégorie
Agents IA
Type de fiche
Guide d'installation complet
Site officiel
Official site
// fonctionnement

Comment ça marche

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// fonctionnalités

Pourquoi on l'adore

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// continuez l'exploration

Outils similaires

Agents IA

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20,5 k étoilesMIT
Voir le guide →
Agents IA

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2,2 k étoilesMIT
Voir le guide →
Agents IA

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 étoilesMIT
Voir le guide →
Agents IA

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33,4 k étoilesMIT
Voir le guide →
Agents IA

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2,2 k étoilesAGPL-3.0
Voir le guide →
Agents IA

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 étoilesApache-2.0
Voir le guide →
// alternatives

Alternatives en Agents IA

Les autres projets de la catégorie Agents IA avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si SWE-bench ne vous convient pas.

// plus en agents

Plus en Agents IA

Projets de la catégorie Agents IA proches dans le catalogue, les plus proches en étoiles de SWE-bench — continuez à explorer de part et d'autre.

Obtenir SWE-bench

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.