LibreAI / Agents IA / evals
// agents · strands-agents/evals

evals

evals est un projet de agents IA open source, créé par strands-agents (strands-agents/evals sur GitHub). Il compte 230 étoiles sur GitHub et 71 forks, il est publié sous la licence Apache-2.0 et a été mis à jour pour la dernière fois sur GitHub le 7 octobre 2026.

A complete evaluation toolkit for AI agents.

★ 230 étoiles⑂ 71 forksApache-2.0mis à jour oct. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
230
Forks
71
Licence
Apache-2.0
Dernière mise à jour sur GitHub
7 octobre 2026
Catégorie
Agents IA
Type de fiche
Guide d'installation complet
Site officiel
Official site
// fonctionnement

Comment ça marche

  1. Define what you want

    Write down the job you will use the project for before touching any code.

  2. Clone the repository

    Download the source and read the README's setup section first.

  3. Install dependencies

    Run the install steps and add any required API keys or config.

  4. Run the quickstart

    Follow the example in the docs to confirm everything works.

// fonctionnalités

Pourquoi on l'adore

Agent evaluation

Measure agent quality systematically.

Comprehensive

Covers multiple evaluation dimensions.

LLM-app ready

Works for agents and LLM apps alike.

Strands ecosystem

From the Strands Agents team.

Python-native

Fits Python agent workflows.

Apache-2.0

Permissive licensing.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Step 1 — Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/strands-agents/evals.git
    cd evals
  2. Step 2 — Install

    Set up a virtual environment and install dependencies.

    python -m venv .venv && source .venv/bin/activate
    pip install -r requirements.txt
  3. Step 3 — Run an evaluation

    Execute a first eval per the README.

    # see README for the eval runners
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who maintains evals?

It is maintained by the Strands Agents team at strands-agents/evals, with 71 forks.

Is evals free to use?

Yes. It is released under the Apache-2.0 license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

The framework is free; evaluations consume model calls through your own keys.

How does it compare to DeepEval?

Compare on metrics, workflow, and how tightly each fits your agent stack.

How do I get started?

Follow the README to run a first evaluation against your agent.

// continuez l'exploration

Outils similaires

Agents IA

bisheng

Enterprise LLM app platform: GenAI workflows, RAG, agents, model management, evaluation, fine-tuning.

★ 12,0 k étoilesApache-2.0
Voir le guide →
Agents IA

vocode-core

Build voice-based LLM agents with a modular, open-source toolkit.

★ 3,8 k étoilesMIT
Voir le guide →
Agents IA

promptfoo

Test prompts, agents and RAGs — LLM evals, red teaming and model comparisons from the CLI

★ 25,8 k étoilesMIT
Voir le guide →
Agents IA

phoenix

Observability and evaluation for AI apps — see what your agents do.

★ 11,7 k étoilesNOASSERTION
Voir le guide →
Agents IA

agent-governance-toolkit

Policy, identity, and sandboxing guardrails for AI agents.

★ 6,4 k étoilesMIT
Voir le guide →
Agents IA

mantis

Google's modular toolkit that lets AI coding agents hunt, reproduce, and patch vulnerabilities autonomously.

★ 2,4 k étoilesApache-2.0
Voir le guide →
// alternatives

Alternatives en Agents IA

Les autres projets de la catégorie Agents IA avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si evals ne vous convient pas.

// plus en agents

Plus en Agents IA

Projets de la catégorie Agents IA proches dans le catalogue, les plus proches en étoiles de evals — continuez à explorer de part et d'autre.

Obtenir evals

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.