LibreAI / Agentes de IA / deepeval
// agents · confident-ai/deepeval

deepeval

deepeval é um projeto de agentes de IA de código aberto de confident-ai (confident-ai/deepeval no GitHub). Tem 18.695 estrelas no GitHub e 2.032 forks, é publicado sob a licença Apache-2.0 e foi atualizado pela última vez no GitHub em 7 de outubro de 2026.

Unit tests for LLMs — evaluate before you ship.

★ 18,7 mil estrelas⑂ 2,0 mil forksApache-2.0atualizado out 2026
▦ visual: o README deste projeto não inclui nenhuma captura incorporável,
então aqui vai um marcador. O guia abaixo está completo mesmo assim.
// dados do projeto

Dados do projeto

Estrelas no GitHub
18.695
Forks
2.032
Licença
Apache-2.0
Última atualização no GitHub
7 de outubro de 2026
Categoria
Agentes de IA
Tipo de ficha
Guia de instalação completo
Site oficial
Official site
// como funciona

Como funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// recursos

Por que as pessoas gostam tanto

LLM metrics

A library of evaluation metrics for model outputs.

Python-native

Integrates with pytest-style workflows.

Regression testing

Catch quality drops between model versions.

Confident AI backing

Maintained by confident-ai with docs and cloud options.

Open source

Apache-2.0 licensed.

CI-friendly

Designed to run in automated pipelines.

Advertisement
// execute você mesmo

Execute você mesmo

  1. Step 1 — Install

    Install DeepEval from PyPI.

    pip install deepeval
  2. Step 2 — Write a test

    Define metrics over your model's outputs in a test file.

    # see README for metric examples
    # test_example.py
  3. Step 3 — Run it

    Execute the evaluation suite.

    deepeval test run test_example.py
// casos de uso

O que você pode criar

Advertisement
// perguntas frequentes

Perguntas frequentes

Who maintains DeepEval?

It is maintained by confident-ai at confident-ai/deepeval, with 2,032 forks.

Is DeepEval free to use?

The open-source framework is free under Apache-2.0; a cloud tier also exists.

Do I need a paid API to use it?

Core evals run locally; some metrics may call models through your own API keys.

How does it compare to other eval frameworks?

Compare with Ragas, LangSmith evals, and others on metrics coverage and workflow fit.

How do I get started?

Install the package, write a test file with your metrics, and run it.

// continue explorando

Ferramentas semelhantes

Agentes de IA

deepteam

Open-source red-teaming framework that stress-tests LLMs and AI agents.

★ 3,0 mil estrelasApache-2.0
Ver o guia →
Agentes de IA

guardrails

Put guardrails on LLMs: validate outputs before they reach users.

★ 7,5 mil estrelasApache-2.0
Ver o guia →
Agentes de IA

helicone

Open-source LLM observability: monitor, evaluate, and experiment.

★ 6,2 mil estrelasApache-2.0
Ver o guia →
Agentes de IA

AgentBench

A rigorous benchmark for LLMs acting as agents.

★ 3,8 mil estrelasApache-2.0
Ver o guia →
Agentes de IA

AI-fundamentals

Chinese-language course on AI basics: GPU architecture, CUDA, LLMs, and agents.

★ 2,9 mil estrelasApache-2.0
Ver o guia →
Agentes de IA

jadx-ai-mcp

JADX plugin + MCP server that lets LLMs analyze Android APKs live — decompile, review, find vulnerabilities

★ 2,9 mil estrelasApache-2.0
Ver o guia →
// alternativas

Alternativas em Agentes de IA

Os outros projetos de Agentes de IA com mais estrelas no catálogo do LibreAI — a lista realista de alternativas se deepeval não for o ideal para você.

// mais em agents

Mais em Agentes de IA

Projetos de Agentes de IA próximos no catálogo, os mais próximos em estrelas de deepeval: continue explorando dos dois lados dele.

Baixe o deepeval

Grátis e aberto: pegue o código-fonte, dê uma estrela no repositório e comece a criar.