// agents · SWE-bench/SWE-bench

SWE-bench

SWE-bench — проект с открытым исходным кодом из категории «ИИ-агенты» от SWE-bench (SWE-bench/SWE-bench на GitHub). У него 5 986 звёзд на GitHub и 1 004 форка, он распространяется по лицензии MIT и последний раз обновлялся на GitHub 18 сентября 2026.

The benchmark that grades AI on real GitHub issues.

★ 6,0 тыс. звёзд⑂ 1,0 тыс. форковMITобновлено сент. 2026
▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.
// факты о проекте

Факты о проекте

Репозиторий
SWE-bench/SWE-bench
Звёзды GitHub
5 986
Форки
1 004
Лицензия
MIT
Последнее обновление на GitHub
18 сентября 2026
Категория
ИИ-агенты
Тип страницы
Полное руководство по установке
Официальный сайт
Official site
// как это работает

Как это работает

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// возможности

Почему его любят

Real-world tasks

Built from genuine GitHub issues, not toy problems.

Standard yardstick

Widely cited for coding-agent evaluation.

Test-based scoring

Resolves are verified with real test suites.

Research artifact

Accompanied by published methodology.

Python tooling

Harness and datasets in Python.

MIT licensed

Permissive licensing.

Advertisement
// запустите сами

Запустите сами

  1. Step 1 — Install the harness

    Install the SWE-bench package.

    pip install swebench
  2. Step 2 — Get the dataset

    Pull the task instances you want to evaluate on.

    # see docs for dataset options
  3. Step 3 — Run an eval

    Evaluate a model per the documentation.

    swebench --help
    # see docs for eval commands
// сценарии использования

Что можно создать

Advertisement
// вопросы и ответы

Вопросы и ответы

Who maintains SWE-bench?

It is maintained by the SWE-bench organization at SWE-bench/SWE-bench, with 1,004 forks.

Is SWE-bench free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

Running evals needs model access and compute; the benchmark itself is free.

How does it compare to other benchmarks?

It targets real-world software engineering; compare with AgentBench or GPQA for different agent capabilities.

How do I get started?

Read the paper and site docs, install the harness, and run a small evaluation.

// продолжить изучение

Похожие инструменты

ИИ-агенты

SWE-agent

Give it a GitHub issue and it tries to fix the code for you - the original SWE-bench agent

★ 20,5 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

tau2-bench

A benchmark for tool-agent-user interaction in real-world domains.

★ 2,2 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 звёздMIT
Смотреть руководство →
ИИ-агенты

github-mcp-server

GitHub's official MCP server — let AI tools work with repos, issues and pull requests

★ 33,4 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

open-kritt

Self-hosted AI vulnerability research: agents find, validate, deduplicate, and rank real security issues.

★ 2,2 тыс. звёздAGPL-3.0
Смотреть руководство →
ИИ-агенты

OSWorld-V2

Benchmark computer-use agents on long, real-world desktop tasks.

★ 353 звездыApache-2.0
Смотреть руководство →
// альтернативы

Альтернативы: ИИ-агенты

Другие проекты из категории «ИИ-агенты» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если SWE-bench вам не подходит.

// ещё в категории agents

Больше проектов: ИИ-агенты

Соседние проекты из категории «ИИ-агенты» в каталоге, ближайшие по числу звёзд к SWE-bench — продолжайте изучать полку по обе стороны от него.

Получить SWE-bench

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.