LibreAI / Agentes de IA / deepeval
// agents · confident-ai/deepeval

deepeval

deepeval es un proyecto de agentes de IA de código abierto de confident-ai (confident-ai/deepeval en GitHub). Tiene 18.695 estrellas en GitHub y 2.032 bifurcaciones, se publica bajo la licencia Apache-2.0 y se actualizó por última vez en GitHub el 7 de octubre de 2026.

Unit tests for LLMs — evaluate before you ship.

★ 18,7k estrellas⑂ 2,0k bifurcacionesApache-2.0actualizado oct 2026
▦ visual: el README de este proyecto no incluye ninguna captura incrustable,
así que aquí va un marcador. La guía de abajo está completa de todos modos.
// datos del proyecto

Datos del proyecto

Estrellas en GitHub
18.695
Bifurcaciones
2.032
Licencia
Apache-2.0
Última actualización en GitHub
7 de octubre de 2026
Categoría
Agentes de IA
Tipo de ficha
Guía de instalación completa
Sitio oficial
Official site
// cómo funciona

Cómo funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// características

Por qué gusta tanto

LLM metrics

A library of evaluation metrics for model outputs.

Python-native

Integrates with pytest-style workflows.

Regression testing

Catch quality drops between model versions.

Confident AI backing

Maintained by confident-ai with docs and cloud options.

Open source

Apache-2.0 licensed.

CI-friendly

Designed to run in automated pipelines.

Advertisement
// ejecútalo

Ejecútalo tú mismo

  1. Step 1 — Install

    Install DeepEval from PyPI.

    pip install deepeval
  2. Step 2 — Write a test

    Define metrics over your model's outputs in a test file.

    # see README for metric examples
    # test_example.py
  3. Step 3 — Run it

    Execute the evaluation suite.

    deepeval test run test_example.py
// casos de uso

Qué puedes crear

Advertisement
// preguntas frecuentes

Preguntas frecuentes

Who maintains DeepEval?

It is maintained by confident-ai at confident-ai/deepeval, with 2,032 forks.

Is DeepEval free to use?

The open-source framework is free under Apache-2.0; a cloud tier also exists.

Do I need a paid API to use it?

Core evals run locally; some metrics may call models through your own API keys.

How does it compare to other eval frameworks?

Compare with Ragas, LangSmith evals, and others on metrics coverage and workflow fit.

How do I get started?

Install the package, write a test file with your metrics, and run it.

// sigue explorando

Herramientas similares

Agentes de IA

deepteam

Open-source red-teaming framework that stress-tests LLMs and AI agents.

★ 3,0k estrellasApache-2.0
Ver la guía →
Agentes de IA

guardrails

Put guardrails on LLMs: validate outputs before they reach users.

★ 7,5k estrellasApache-2.0
Ver la guía →
Agentes de IA

helicone

Open-source LLM observability: monitor, evaluate, and experiment.

★ 6,2k estrellasApache-2.0
Ver la guía →
Agentes de IA

AgentBench

A rigorous benchmark for LLMs acting as agents.

★ 3,8k estrellasApache-2.0
Ver la guía →
Agentes de IA

AI-fundamentals

Chinese-language course on AI basics: GPU architecture, CUDA, LLMs, and agents.

★ 2,9k estrellasApache-2.0
Ver la guía →
Agentes de IA

jadx-ai-mcp

JADX plugin + MCP server that lets LLMs analyze Android APKs live — decompile, review, find vulnerabilities

★ 2,9k estrellasApache-2.0
Ver la guía →
// alternativas

Alternativas en Agentes de IA

Los demás proyectos de Agentes de IA con más estrellas del catálogo de LibreAI: la lista realista de alternativas si deepeval no es lo que buscas.

// más en agents

Más en Agentes de IA

Proyectos de Agentes de IA cercanos en el catálogo, los más próximos en estrellas a deepeval: sigue explorando a ambos lados.

Consigue deepeval

Gratis y abierto: consigue el código fuente, dale una estrella al repositorio y empieza a crear.