LibreAI / Agentes de IA / SWE-bench
// agents · SWE-bench/SWE-bench

SWE-bench

SWE-bench é um projeto de agentes de IA de código aberto de SWE-bench (SWE-bench/SWE-bench no GitHub). Tem 5.986 estrelas no GitHub e 1.004 forks, é publicado sob a licença MIT e foi atualizado pela última vez no GitHub em 18 de setembro de 2026.

The benchmark that grades AI on real GitHub issues.

★ 6,0 mil estrelas⑂ 1,0 mil forksMITatualizado set 2026
▦ visual: o README deste projeto não inclui nenhuma captura incorporável,
então aqui vai um marcador. O guia abaixo está completo mesmo assim.
// dados do projeto

Dados do projeto

Estrelas no GitHub
5.986
Forks
1.004
Licença
MIT
Última atualização no GitHub
18 de setembro de 2026
Categoria
Agentes de IA
Tipo de ficha
Guia de instalação completo
Site oficial
Official site
// como funciona

Como funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// recursos

Por que as pessoas gostam tanto

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// execute você mesmo

Execute você mesmo

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// casos de uso

O que você pode criar

Advertisement
// perguntas frequentes

Perguntas frequentes

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// continue explorando

Ferramentas semelhantes

Agentes de IA

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20,5 mil estrelasMIT
Ver o guia →
Agentes de IA

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2,2 mil estrelasMIT
Ver o guia →
Agentes de IA

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 estrelasMIT
Ver o guia →
Agentes de IA

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33,4 mil estrelasMIT
Ver o guia →
Agentes de IA

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2,2 mil estrelasAGPL-3.0
Ver o guia →
Agentes de IA

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 estrelasApache-2.0
Ver o guia →
// alternativas

Alternativas em Agentes de IA

Os outros projetos de Agentes de IA com mais estrelas no catálogo do LibreAI — a lista realista de alternativas se SWE-bench não for o ideal para você.

// mais em agents

Mais em Agentes de IA

Projetos de Agentes de IA próximos no catálogo, os mais próximos em estrelas de SWE-bench: continue explorando dos dois lados dele.

Baixe o SWE-bench

Grátis e aberto: pegue o código-fonte, dê uma estrela no repositório e comece a criar.