// agents · braintrustdata/autoevals

autoevals

autoevalsは、braintrustdataが公開しているオープンソースのAIエージェントプロジェクトです(GitHub: braintrustdata/autoevals)。GitHubスターは1,050、フォークは88で、MITライセンスの下で公開されています。GitHubでの最終更新は2026年10月7日です。

Fast, best-practice evaluations for AI model outputs.

★ 1.1k スター⑂ 88 フォークMIT更新 2026年10月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

GitHubスター
1,050
フォーク
88
ライセンス
MIT
GitHubでの最終更新
2026年10月7日
掲載タイプ
完全なインストールガイド
// 仕組み

仕組み

  1. Define the job

    Write down the task or workflow you want the agent to handle.

  2. Get the code

    Clone the repository and read the README's prerequisites.

  3. Set up your environment

    Install dependencies and configure keys or endpoints.

  4. Try the quickstart

    Run the sample script and check the output against the docs.

// 機能

選ばれる理由

Ready-made scorers

Common eval patterns out of the box.

Best practices

Braintrust's eval expertise packaged.

Lightweight

A library, not a platform.

LLM-as-judge

Use models to score models.

Python-native

Drops into test suites.

MIT licensed

Free for any use.

Advertisement
// 自分で実行

自分で実行してみる

  1. Step 1 - Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/braintrustdata/autoevals.git
    cd autoevals
  2. Step 2 - Install dependencies

    Create a virtual environment and install the requirements.

    python -m venv .venv && source .venv/bin/activate
    pip install -r requirements.txt
  3. Step 3 - Run an example

    Treat these as starting points - the README documents the exact commands.

    python examples/quickstart.py
// 活用例

作れるもの

Advertisement
// よくある質問

よくある質問

Who is behind autoevals?

The project lives at braintrustdata/autoevals and has attracted 88 forks. Browse its commit history and contributor list for a sense of maintenance pace.

Is autoevals free to use?

Yes - it is MIT licensed, so you can use, modify, and distribute it freely, including in commercial projects.

Do I need a paid API to use it?

Running the evaluation is free; the model under test may use your own paid API keys.

AutoEvals vs Harbor?

AutoEvals is a lightweight scoring library; Harbor is a full evaluation framework. Start with AutoEvals for quick scoring, graduate to Harbor for a complete eval program.

Where should I start?

The README and the official docs site are the fastest path: run the quickstart example first, then adapt it to your use case.

// さらに探索

似ているツール

AIエージェント

tada

An open-source speech language model from Hume.

★ 1.0k スターNOASSERTION
ガイドを見る →
AIエージェント

openvla

Open-source 7B vision-language-action model and codebase for generalist robot manipulation.

★ 7.1k スターMIT
ガイドを見る →
AIエージェント

10x

Up to 20x faster AI coding with smart model routing and full self-hosting.

★ 1.4k スターMIT
ガイドを見る →
AIエージェント

agent-world-model

Snowflake's Agent World Model: synthesise 1,000 executable MCP tool-use environments for agentic RL.

★ 465 スターNOASSERTION
ガイドを見る →
AIエージェント

LightRAG

Simple, fast retrieval-augmented generation with graph smarts.

★ 40.0k スターMIT
ガイドを見る →
AIエージェント

genesis-world

A Python simulation platform for robotics and embodied AI — fast physics, rendering and learning

★ 30.0k スターApache-2.0
ガイドを見る →
// 代替候補

代替候補: AIエージェント

LibreAIカタログに掲載されたAIエージェントプロジェクトの中で最もスターの多いもの — autoevalsが合わなかった場合に検討したい、現実的な候補リストです。

// さらに見る agents

さらに見る: AIエージェント

カタログの中でautoevalsとスター数が近いAIエージェントプロジェクト — 前後の棚もそのまま見て回れます。

autoevalsを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。