LibreAI / Agentes de IA / SWE-bench
// agents · SWE-bench/SWE-bench

SWE-bench

SWE-bench es un proyecto de agentes de IA de código abierto de SWE-bench (SWE-bench/SWE-bench en GitHub). Tiene 5.986 estrellas en GitHub y 1.004 bifurcaciones, se publica bajo la licencia MIT y se actualizó por última vez en GitHub el 18 de septiembre de 2026.

The benchmark that grades AI on real GitHub issues.

★ 6,0k estrellas⑂ 1,0k bifurcacionesMITactualizado sep 2026
▦ visual: el README de este proyecto no incluye ninguna captura incrustable,
así que aquí va un marcador. La guía de abajo está completa de todos modos.
// datos del proyecto

Datos del proyecto

Estrellas en GitHub
5.986
Bifurcaciones
1.004
Licencia
MIT
Última actualización en GitHub
18 de septiembre de 2026
Categoría
Agentes de IA
Tipo de ficha
Guía de instalación completa
Sitio oficial
Official site
// cómo funciona

Cómo funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// características

Por qué gusta tanto

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// ejecútalo

Ejecútalo tú mismo

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// casos de uso

Qué puedes crear

Advertisement
// preguntas frecuentes

Preguntas frecuentes

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// sigue explorando

Herramientas similares

Agentes de IA

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20,5k estrellasMIT
Ver la guía →
Agentes de IA

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2,2k estrellasMIT
Ver la guía →
Agentes de IA

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 estrellasMIT
Ver la guía →
Agentes de IA

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33,4k estrellasMIT
Ver la guía →
Agentes de IA

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2,2k estrellasAGPL-3.0
Ver la guía →
Agentes de IA

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 estrellasApache-2.0
Ver la guía →
// alternativas

Alternativas en Agentes de IA

Los demás proyectos de Agentes de IA con más estrellas del catálogo de LibreAI: la lista realista de alternativas si SWE-bench no es lo que buscas.

// más en agents

Más en Agentes de IA

Proyectos de Agentes de IA cercanos en el catálogo, los más próximos en estrellas a SWE-bench: sigue explorando a ambos lados.

Consigue SWE-bench

Gratis y abierto: consigue el código fuente, dale una estrella al repositorio y empieza a crear.