LibreAI / Agents IA / autoevals
// agents · braintrustdata/autoevals

autoevals

autoevals est un projet de agents IA open source, créé par braintrustdata (braintrustdata/autoevals sur GitHub). Il compte 1 050 étoiles sur GitHub et 88 forks, il est publié sous la licence MIT et a été mis à jour pour la dernière fois sur GitHub le 7 octobre 2026.

Fast, best-practice evaluations for AI model outputs.

★ 1,1 k étoiles⑂ 88 forksMITmis à jour oct. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
1 050
Forks
88
Licence
MIT
Dernière mise à jour sur GitHub
7 octobre 2026
Catégorie
Agents IA
Type de fiche
Guide d'installation complet
// fonctionnement

Comment ça marche

  1. Define the job

    Write down the task or workflow you want the agent to handle.

  2. Get the code

    Clone the repository and read the README's prerequisites.

  3. Set up your environment

    Install dependencies and configure keys or endpoints.

  4. Try the quickstart

    Run the sample script and check the output against the docs.

// fonctionnalités

Pourquoi on l'adore

Ready-made scorers

Common eval patterns out of the box.

Best practices

Braintrust's eval expertise packaged.

Lightweight

A library, not a platform.

LLM-as-judge

Use models to score models.

Python-native

Drops into test suites.

MIT licensed

Free for any use.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Step 1 - Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/braintrustdata/autoevals.git
    cd autoevals
  2. Step 2 - Install dependencies

    Create a virtual environment and install the requirements.

    python -m venv .venv && source .venv/bin/activate
    pip install -r requirements.txt
  3. Step 3 - Run an example

    Treat these as starting points - the README documents the exact commands.

    python examples/quickstart.py
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who is behind autoevals?

The project lives at braintrustdata/autoevals and has attracted 88 forks. Browse its commit history and contributor list for a sense of maintenance pace.

Is autoevals free to use?

Yes - it is MIT licensed, so you can use, modify, and distribute it freely, including in commercial projects.

Do I need a paid API to use it?

Running the evaluation is free; the model under test may use your own paid API keys.

AutoEvals vs Harbor?

AutoEvals is a lightweight scoring library; Harbor is a full evaluation framework. Start with AutoEvals for quick scoring, graduate to Harbor for a complete eval program.

Where should I start?

The README and the official docs site are the fastest path: run the quickstart example first, then adapt it to your use case.

// continuez l'exploration

Outils similaires

Agents IA

tada

An open-source speech language model from Hume.

★ 1,0 k étoilesNOASSERTION
Voir le guide →
Agents IA

openvla

Open-source 7B vision-language-action model and codebase for generalist robot manipulation.

★ 7,1 k étoilesMIT
Voir le guide →
Agents IA

10x

Up to 20x faster AI coding with smart model routing and full self-hosting.

★ 1,4 k étoilesMIT
Voir le guide →
Agents IA

agent-world-model

Snowflake's Agent World Model: synthesise 1,000 executable MCP tool-use environments for agentic RL.

★ 465 étoilesNOASSERTION
Voir le guide →
Agents IA

LightRAG

Simple, fast retrieval-augmented generation with graph smarts.

★ 40,0 k étoilesMIT
Voir le guide →
Agents IA

genesis-world

A Python simulation platform for robotics and embodied AI — fast physics, rendering and learning

★ 30,0 k étoilesApache-2.0
Voir le guide →
// alternatives

Alternatives en Agents IA

Les autres projets de la catégorie Agents IA avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si autoevals ne vous convient pas.

// plus en agents

Plus en Agents IA

Projets de la catégorie Agents IA proches dans le catalogue, les plus proches en étoiles de autoevals — continuez à explorer de part et d'autre.

Obtenir autoevals

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.