// agents · confident-ai/deepeval

deepeval

deepevalは、confident-aiが公開しているオープンソースのAIエージェントプロジェクトです(GitHub: confident-ai/deepeval)。GitHubスターは18,695、フォークは2,032で、Apache-2.0ライセンスの下で公開されています。GitHubでの最終更新は2026年10月7日です。

Unit tests for LLMs — evaluate before you ship.

★ 18.7k スター⑂ 2.0k フォークApache-2.0更新 2026年10月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

リポジトリ
confident-ai/deepeval
GitHubスター
18,695
フォーク
2,032
ライセンス
Apache-2.0
GitHubでの最終更新
2026年10月7日
掲載タイプ
完全なインストールガイド
公式サイト
Official site
// 仕組み

仕組み

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// 機能

選ばれる理由

LLM metrics

A library of evaluation metrics for model outputs.

Python-native

Integrates with pytest-style workflows.

Regression testing

Catch quality drops between model versions.

Confident AI backing

Maintained by confident-ai with docs and cloud options.

Open source

Apache-2.0 licensed.

CI-friendly

Designed to run in automated pipelines.

Advertisement
// 自分で実行

自分で実行してみる

  1. Step 1 — Install

    Install DeepEval from PyPI.

    pip install deepeval
  2. Step 2 — Write a test

    Define metrics over your model's outputs in a test file.

    # see README for metric examples
    # test_example.py
  3. Step 3 — Run it

    Execute the evaluation suite.

    deepeval test run test_example.py
// 活用例

作れるもの

Advertisement
// よくある質問

よくある質問

Who maintains DeepEval?

It is maintained by confident-ai at confident-ai/deepeval, with 2,032 forks.

Is DeepEval free to use?

The open-source framework is free under Apache-2.0; a cloud tier also exists.

Do I need a paid API to use it?

Core evals run locally; some metrics may call models through your own API keys.

How does it compare to other eval frameworks?

Compare with Ragas, LangSmith evals, and others on metrics coverage and workflow fit.

How do I get started?

Install the package, write a test file with your metrics, and run it.

// さらに探索

似ているツール

AIエージェント

deepteam

Open-source red-teaming framework that stress-tests LLMs and AI agents.

★ 3.0k スターApache-2.0
ガイドを見る →
AIエージェント

guardrails

Put guardrails on LLMs: validate outputs before they reach users.

★ 7.5k スターApache-2.0
ガイドを見る →
AIエージェント

helicone

Open-source LLM observability: monitor, evaluate, and experiment.

★ 6.2k スターApache-2.0
ガイドを見る →
AIエージェント

AgentBench

A rigorous benchmark for LLMs acting as agents.

★ 3.8k スターApache-2.0
ガイドを見る →
AIエージェント

AI-fundamentals

Chinese-language course on AI basics: GPU architecture, CUDA, LLMs, and agents.

★ 2.9k スターApache-2.0
ガイドを見る →
AIエージェント

jadx-ai-mcp

JADX plugin + MCP server that lets LLMs analyze Android APKs live — decompile, review, find vulnerabilities

★ 2.9k スターApache-2.0
ガイドを見る →
// 代替候補

代替候補: AIエージェント

LibreAIカタログに掲載されたAIエージェントプロジェクトの中で最もスターの多いもの — deepevalが合わなかった場合に検討したい、現実的な候補リストです。

// さらに見る agents

さらに見る: AIエージェント

カタログの中でdeepevalとスター数が近いAIエージェントプロジェクト — 前後の棚もそのまま見て回れます。

deepevalを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。