// agents · braintrustdata/autoevals

autoevals

autoevals — проект с открытым исходным кодом из категории «ИИ-агенты» от braintrustdata (braintrustdata/autoevals на GitHub). У него 1 050 звёзд на GitHub и 88 форков, он распространяется по лицензии MIT и последний раз обновлялся на GitHub 7 октября 2026.

Fast, best-practice evaluations for AI model outputs.

★ 1,1 тыс. звёзд⑂ 88 форковMITобновлено окт. 2026
▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.
// факты о проекте

Факты о проекте

Репозиторий
braintrustdata/autoevals
Звёзды GitHub
1 050
Форки
88
Лицензия
MIT
Последнее обновление на GitHub
7 октября 2026
Категория
ИИ-агенты
Тип страницы
Полное руководство по установке
// как это работает

Как это работает

  1. Define the job

    Write down the task or workflow you want the agent to handle.

  2. Get the code

    Clone the repository and read the README's prerequisites.

  3. Set up your environment

    Install dependencies and configure keys or endpoints.

  4. Try the quickstart

    Run the sample script and check the output against the docs.

// возможности

Почему его любят

Ready-made scorers

Common eval patterns out of the box.

Best practices

Braintrust's eval expertise packaged.

Lightweight

A library, not a platform.

LLM-as-judge

Use models to score models.

Python-native

Drops into test suites.

MIT licensed

Free for any use.

Advertisement
// запустите сами

Запустите сами

  1. Step 1 - Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/braintrustdata/autoevals.git
    cd autoevals
  2. Step 2 - Install dependencies

    Create a virtual environment and install the requirements.

    python -m venv .venv && source .venv/bin/activate
    pip install -r requirements.txt
  3. Step 3 - Run an example

    Treat these as starting points - the README documents the exact commands.

    python examples/quickstart.py
// сценарии использования

Что можно создать

Advertisement
// вопросы и ответы

Вопросы и ответы

Who is behind autoevals?

The project lives at braintrustdata/autoevals and has attracted 88 forks. Browse its commit history and contributor list for a sense of maintenance pace.

Is autoevals free to use?

Yes - it is MIT licensed, so you can use, modify, and distribute it freely, including in commercial projects.

Do I need a paid API to use it?

Running the evaluation is free; the model under test may use your own paid API keys.

AutoEvals vs Harbor?

AutoEvals is a lightweight scoring library; Harbor is a full evaluation framework. Start with AutoEvals for quick scoring, graduate to Harbor for a complete eval program.

Where should I start?

The README and the official docs site are the fastest path: run the quickstart example first, then adapt it to your use case.

// продолжить изучение

Похожие инструменты

ИИ-агенты

tada

An open-source speech language model from Hume.

★ 1,0 тыс. звёздNOASSERTION
Смотреть руководство →
ИИ-агенты

openvla

Open-source 7B vision-language-action model and codebase for generalist robot manipulation.

★ 7,1 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

10x

Up to 20x faster AI coding with smart model routing and full self-hosting.

★ 1,4 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

agent-world-model

Snowflake's Agent World Model: synthesise 1,000 executable MCP tool-use environments for agentic RL.

★ 465 звёздNOASSERTION
Смотреть руководство →
ИИ-агенты

LightRAG

Simple, fast retrieval-augmented generation with graph smarts.

★ 40,0 тыс. звёздMIT
Смотреть руководство →
ИИ-агенты

genesis-world

A Python simulation platform for robotics and embodied AI — fast physics, rendering and learning

★ 30,0 тыс. звёздApache-2.0
Смотреть руководство →
// альтернативы

Альтернативы: ИИ-агенты

Другие проекты из категории «ИИ-агенты» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если autoevals вам не подходит.

// ещё в категории agents

Больше проектов: ИИ-агенты

Соседние проекты из категории «ИИ-агенты» в каталоге, ближайшие по числу звёзд к autoevals — продолжайте изучать полку по обе стороны от него.

Получить autoevals

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.