LibreAI / Agentes de IA / promptfoo
// agents · promptfoo/promptfoo

promptfoo

promptfoo es un proyecto de agentes de IA de código abierto de promptfoo (promptfoo/promptfoo en GitHub). Tiene 25.815 estrellas en GitHub y 2.452 bifurcaciones, se publica bajo la licencia MIT y se actualizó por última vez en GitHub el 8 de octubre de 2026.

Test prompts, agents and RAGs — LLM evals, red teaming and model comparisons from the CLI

★ 25,8k estrellas⑂ 2,5k bifurcacionesMITactualizado oct 2026
▦ visual: el README de este proyecto no incluye ninguna captura incrustable,
así que aquí va un marcador. La guía de abajo está completa de todos modos.
// datos del proyecto

Datos del proyecto

Estrellas en GitHub
25.815
Bifurcaciones
2.452
Licencia
MIT
Última actualización en GitHub
8 de octubre de 2026
Categoría
Agentes de IA
Tipo de ficha
Guía de instalación completa
Sitio oficial
Official site
// cómo funciona

Cómo funciona

  1. Clarify your goal

    Decide what you want to achieve with promptfoo and check the README on GitHub for requirements before installing.

  2. Get the code

    Clone the repository from GitHub (or take the packaged install route in step 3 if the README offers one).

  3. Install and configure

    Follow the project's documented install commands — the Run section below lists the exact ones — and add any required API keys or models.

  4. Run your first task

    Work through the README's quickstart example end to end, then adapt it to your own project or data.

// características

Por qué gusta tanto

Prompt and model comparison

Run the same test set across models and prompts to compare quality side by side.

Red teaming and vulnerability scanning

Automated probes for prompt injection, jailbreaks and other AI security issues.

RAG and agent evaluation

Evaluate retrieval pipelines and agent behaviors, not just single prompts.

Declarative configs

Tests live in simple config files that version well in git.

CI/CD integration

Designed to run in pipelines so regressions block deploys.

Local-first CLI

Runs from your terminal with npx — no platform account required to start.

Advertisement
// ejecútalo

Ejecútalo tú mismo

  1. Clone the repository

    Get the Promptfoo source and examples.

    git clone https://github.com/promptfoo/promptfoo.git
    cd promptfoo
  2. Install the CLI

    Install globally from npm (brew and pip installs are also documented), or skip installation with npx.

    npm install -g promptfoo
  3. Run your first eval

    Initialize an example config, add your model key, and run the evaluation.

    promptfoo init
    promptfoo eval
// casos de uso

Qué puedes crear

Advertisement
// preguntas frecuentes

Preguntas frecuentes

Who maintains promptfoo?

promptfoo is maintained by the promptfoo organization/account on GitHub, together with open-source contributors, in the public repository promptfoo/promptfoo.

Is promptfoo free to use?

Yes — the code is open source under the MIT license. You can use, modify and redistribute it under that license's terms.

Does promptfoo need a paid API key?

Promptfoo is free and MIT-licensed; evaluations call the models you test, so you need API keys for those providers (local/open models are also supported).

How does promptfoo compare to LangSmith / Braintrust?

Those are hosted evaluation platforms; Promptfoo is a local-first, config-in-git CLI with strong red-teaming — lighter to adopt, and your tests live with your code.

How do I get started with promptfoo?

Clone the repository from GitHub, follow the install commands in the Run section (taken from the project's README), and complete the documented quickstart example before adapting it to your own use case.

// sigue explorando

Herramientas similares

Agentes de IA

bisheng

Enterprise LLM app platform: GenAI workflows, RAG, agents, model management, evaluation, fine-tuning.

★ 12,0k estrellasApache-2.0
Ver la guía →
Agentes de IA

pi

A TypeScript toolkit for building agents: unified LLM API, loop, TUI, and CLI.

★ 113,3k estrellasMIT
Ver la guía →
Agentes de IA

botpress

Open-source hub of integrations, SDK and CLI for building and deploying GPT/LLM chatbots and agents.

★ 14,9k estrellasMIT
Ver la guía →
Agentes de IA

deepteam

Open-source red-teaming framework that stress-tests LLMs and AI agents.

★ 3,0k estrellasApache-2.0
Ver la guía →
Agentes de IA

MobileBuildMCP

An MCP server and CLI that lets AI agents build, test and run iOS and macOS projects.

★ 6,5k estrellasMIT
Ver la guía →
Agentes de IA

agentdojo

Test your agents against prompt-injection attacks.

★ 897 estrellasMIT
Ver la guía →
// alternativas

Alternativas en Agentes de IA

Los demás proyectos de Agentes de IA con más estrellas del catálogo de LibreAI: la lista realista de alternativas si promptfoo no es lo que buscas.

// más en agents

Más en Agentes de IA

Proyectos de Agentes de IA cercanos en el catálogo, los más próximos en estrellas a promptfoo: sigue explorando a ambos lados.

Consigue promptfoo

Gratis y abierto: consigue el código fuente, dale una estrella al repositorio y empieza a crear.