LibreAI / KI-Agenten / SWE-bench
// agents · SWE-bench/SWE-bench

SWE-bench

SWE-bench ist ein Open-Source-Projekt aus der Kategorie KI-Agenten von SWE-bench (SWE-bench/SWE-bench auf GitHub). Es hat 5.986 Sterne auf GitHub und 1.004 Forks, wird unter der Lizenz MIT veröffentlicht und wurde zuletzt am 18. September 2026 auf GitHub aktualisiert.

The benchmark that grades AI on real GitHub issues.

★ 6,0 Tsd. Sterne⑂ 1,0 Tsd. ForksMITaktualisiert Sep 2026
▦ Visual — das README dieses Projekts enthält keinen einbettbaren Screenshot,
darum hier ein Platzhalter. Die Anleitung unten ist trotzdem vollständig.
// projektdaten

Projektdaten

GitHub-Sterne
5.986
Forks
1.004
Lizenz
MIT
Zuletzt auf GitHub aktualisiert
18. September 2026
Kategorie
KI-Agenten
Eintragstyp
Vollständige Installationsanleitung
Offizielle Website
Official site
// so funktioniert es

So funktioniert es

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// funktionen

Warum es so beliebt ist

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// selbst ausführen

Führe es selbst aus

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// anwendungsfälle

Was du damit bauen kannst

Advertisement
// häufige fragen

Häufige Fragen

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// weiter entdecken

Ähnliche Tools

KI-Agenten

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20,5 Tsd. SterneMIT
Anleitung ansehen →
KI-Agenten

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2,2 Tsd. SterneMIT
Anleitung ansehen →
KI-Agenten

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 SterneMIT
Anleitung ansehen →
KI-Agenten

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33,4 Tsd. SterneMIT
Anleitung ansehen →
KI-Agenten

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2,2 Tsd. SterneAGPL-3.0
Anleitung ansehen →
KI-Agenten

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 SterneApache-2.0
Anleitung ansehen →
// alternativen

Alternativen im Bereich KI-Agenten

Die anderen Projekte der Kategorie KI-Agenten mit den meisten Sternen im LibreAI-Katalog — die realistische Auswahl, falls SWE-bench nicht das Richtige ist.

// mehr in agents

Mehr in KI-Agenten

Verwandte Projekte der Kategorie KI-Agenten im Katalog, die SWE-bench bei den Sternen am nächsten stehen — zum Weiterstöbern auf beiden Seiten.

Hol dir SWE-bench

Kostenlos und offen — hol dir den Quellcode, gib dem Repository einen Stern und leg los.