LibreAI / Agentes de IA / autoevals
// agents · braintrustdata/autoevals

autoevals

autoevals é um projeto de agentes de IA de código aberto de braintrustdata (braintrustdata/autoevals no GitHub). Tem 1.050 estrelas no GitHub e 88 forks, é publicado sob a licença MIT e foi atualizado pela última vez no GitHub em 7 de outubro de 2026.

Fast, best-practice evaluations for AI model outputs.

★ 1,1 mil estrelas⑂ 88 forksMITatualizado out 2026
▦ visual: o README deste projeto não inclui nenhuma captura incorporável,
então aqui vai um marcador. O guia abaixo está completo mesmo assim.
// dados do projeto

Dados do projeto

Estrelas no GitHub
1.050
Forks
88
Licença
MIT
Última atualização no GitHub
7 de outubro de 2026
Categoria
Agentes de IA
Tipo de ficha
Guia de instalação completo
// como funciona

Como funciona

  1. Define the job

    Write down the task or workflow you want the agent to handle.

  2. Get the code

    Clone the repository and read the README's prerequisites.

  3. Set up your environment

    Install dependencies and configure keys or endpoints.

  4. Try the quickstart

    Run the sample script and check the output against the docs.

// recursos

Por que as pessoas gostam tanto

Ready-made scorers

Common eval patterns out of the box.

Best practices

Braintrust's eval expertise packaged.

Lightweight

A library, not a platform.

LLM-as-judge

Use models to score models.

Python-native

Drops into test suites.

MIT licensed

Free for any use.

Advertisement
// execute você mesmo

Execute você mesmo

  1. Step 1 - Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/braintrustdata/autoevals.git
    cd autoevals
  2. Step 2 - Install dependencies

    Create a virtual environment and install the requirements.

    python -m venv .venv && source .venv/bin/activate
    pip install -r requirements.txt
  3. Step 3 - Run an example

    Treat these as starting points - the README documents the exact commands.

    python examples/quickstart.py
// casos de uso

O que você pode criar

Advertisement
// perguntas frequentes

Perguntas frequentes

Who is behind autoevals?

The project lives at braintrustdata/autoevals and has attracted 88 forks. Browse its commit history and contributor list for a sense of maintenance pace.

Is autoevals free to use?

Yes - it is MIT licensed, so you can use, modify, and distribute it freely, including in commercial projects.

Do I need a paid API to use it?

Running the evaluation is free; the model under test may use your own paid API keys.

AutoEvals vs Harbor?

AutoEvals is a lightweight scoring library; Harbor is a full evaluation framework. Start with AutoEvals for quick scoring, graduate to Harbor for a complete eval program.

Where should I start?

The README and the official docs site are the fastest path: run the quickstart example first, then adapt it to your use case.

// continue explorando

Ferramentas semelhantes

Agentes de IA

tada

An open-source speech language model from Hume.

★ 1,0 mil estrelasNOASSERTION
Ver o guia →
Agentes de IA

openvla

Open-source 7B vision-language-action model and codebase for generalist robot manipulation.

★ 7,1 mil estrelasMIT
Ver o guia →
Agentes de IA

10x

Up to 20x faster AI coding with smart model routing and full self-hosting.

★ 1,4 mil estrelasMIT
Ver o guia →
Agentes de IA

agent-world-model

Snowflake's Agent World Model: synthesise 1,000 executable MCP tool-use environments for agentic RL.

★ 465 estrelasNOASSERTION
Ver o guia →
Agentes de IA

LightRAG

Simple, fast retrieval-augmented generation with graph smarts.

★ 40,0 mil estrelasMIT
Ver o guia →
Agentes de IA

genesis-world

A Python simulation platform for robotics and embodied AI — fast physics, rendering and learning

★ 30,0 mil estrelasApache-2.0
Ver o guia →
// alternativas

Alternativas em Agentes de IA

Os outros projetos de Agentes de IA com mais estrelas no catálogo do LibreAI — a lista realista de alternativas se autoevals não for o ideal para você.

// mais em agents

Mais em Agentes de IA

Projetos de Agentes de IA próximos no catálogo, os mais próximos em estrelas de autoevals: continue explorando dos dois lados dele.

Baixe o autoevals

Grátis e aberto: pegue o código-fonte, dê uma estrela no repositório e comece a criar.