// agents · idavidrein/gpqa

gpqa

gpqa es un proyecto de agentes de IA de código abierto de idavidrein (idavidrein/gpqa en GitHub). Tiene 540 estrellas en GitHub y 58 bifurcaciones, se publica bajo la licencia MIT y se actualizó por última vez en GitHub el 30 de septiembre de 2024.

A graduate-level benchmark even Google can't crack.

★ 540 estrellas⑂ 58 bifurcacionesMITactualizado sep 2024
▦ visual: el README de este proyecto no incluye ninguna captura incrustable,
así que aquí va un marcador. La guía de abajo está completa de todos modos.
// datos del proyecto

Datos del proyecto

Repositorio
idavidrein/gpqa
Estrellas en GitHub
540
Bifurcaciones
58
Licencia
MIT
Última actualización en GitHub
30 de septiembre de 2024
Categoría
Agentes de IA
Tipo de ficha
Guía de instalación completa
// cómo funciona

Cómo funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// características

Por qué gusta tanto

Graduate-level difficulty

Questions written by domain experts.

Google-proof

Resistant to simple search-based solving.

Reasoning-focused

Tests deep understanding, not trivia.

Influential

Widely cited in frontier-model evals.

Notebook format

Explore via Jupyter.

MIT licensed

Permissive licensing.

Advertisement
// ejecútalo

Ejecútalo tú mismo

  1. Step 1 — Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/idavidrein/gpqa.git
    cd gpqa
  2. Step 2 — Install

    Set up a Python environment with the notebook dependencies.

    pip install -r requirements.txt
  3. Step 3 — Explore the data

    Open the notebooks and inspect the questions.

    jupyter notebook
// casos de uso

Qué puedes crear

Advertisement
// preguntas frecuentes

Preguntas frecuentes

Who maintains GPQA?

It is maintained by idavidrein at idavidrein/gpqa, with 58 forks. The last push was September 2024.

Is GPQA free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

The dataset is free; you need model access to evaluate against it.

How does it compare to MMLU?

GPQA is deliberately harder and more reasoning-focused; MMLU is broader.

How do I get started?

Read the paper, clone the repo, and explore the notebooks.

// sigue explorando

Herramientas similares

Agentes de IA

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 estrellasMIT
Ver la guía →
Agentes de IA

MMLU-Pro

The tougher, more robust successor to the MMLU benchmark.

★ 429 estrellasApache-2.0
Ver la guía →
Agentes de IA

SWE-bench

The benchmark that grades AI on real GitHub issues.

★ 6,0k estrellasMIT
Ver la guía →
Agentes de IA

notfair-plugin

SEO, GEO, and marketing skills your agents can use.

★ 3,9k estrellasMIT
Ver la guía →
Agentes de IA

google_workspace_mcp

Control Gmail, Calendar, Docs, Sheets, Drive and more from AI — a full Google Workspace MCP server.

★ 3,3k estrellasMIT
Ver la guía →
Agentes de IA

agentsight

See what your AI agents do — at the system level.

★ 728 estrellasMIT
Ver la guía →
// alternativas

Alternativas en Agentes de IA

Los demás proyectos de Agentes de IA con más estrellas del catálogo de LibreAI: la lista realista de alternativas si gpqa no es lo que buscas.

// más en agents

Más en Agentes de IA

Proyectos de Agentes de IA cercanos en el catálogo, los más próximos en estrellas a gpqa: sigue explorando a ambos lados.

Consigue gpqa

Gratis y abierto: consigue el código fuente, dale una estrella al repositorio y empieza a crear.