// agents · idavidrein/gpqa

gpqa

gpqa é um projeto de agentes de IA de código aberto de idavidrein (idavidrein/gpqa no GitHub). Tem 540 estrelas no GitHub e 58 forks, é publicado sob a licença MIT e foi atualizado pela última vez no GitHub em 30 de setembro de 2024.

A graduate-level benchmark even Google can't crack.

★ 540 estrelas⑂ 58 forksMITatualizado set 2024
▦ visual: o README deste projeto não inclui nenhuma captura incorporável,
então aqui vai um marcador. O guia abaixo está completo mesmo assim.
// dados do projeto

Dados do projeto

Repositório
idavidrein/gpqa
Estrelas no GitHub
540
Forks
58
Licença
MIT
Última atualização no GitHub
30 de setembro de 2024
Categoria
Agentes de IA
Tipo de ficha
Guia de instalação completo
// como funciona

Como funciona

  1. Start with a use case

    Pick one concrete task so you can judge whether the project fits.

  2. Fetch the source

    Clone the repo and check the prerequisites listed in the README.

  3. Set up the environment

    Install what it needs and configure credentials or model access.

  4. Try the sample workflow

    Run a minimal example end to end before wiring it into your stack.

// recursos

Por que as pessoas gostam tanto

Graduate-level difficulty

Questions written by domain experts.

Google-proof

Resistant to simple search-based solving.

Reasoning-focused

Tests deep understanding, not trivia.

Influential

Widely cited in frontier-model evals.

Notebook format

Explore via Jupyter.

MIT licensed

Permissive licensing.

Advertisement
// execute você mesmo

Execute você mesmo

  1. Step 1 — Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/idavidrein/gpqa.git
    cd gpqa
  2. Step 2 — Install

    Set up a Python environment with the notebook dependencies.

    pip install -r requirements.txt
  3. Step 3 — Explore the data

    Open the notebooks and inspect the questions.

    jupyter notebook
// casos de uso

O que você pode criar

Advertisement
// perguntas frequentes

Perguntas frequentes

Who maintains GPQA?

It is maintained by idavidrein at idavidrein/gpqa, with 58 forks. The last push was September 2024.

Is GPQA free to use?

Yes. It is released under the MIT license, which permits commercial use, modification, and redistribution. Read the LICENSE file for the exact terms.

Do I need a paid API to use it?

The dataset is free; you need model access to evaluate against it.

How does it compare to MMLU?

GPQA is deliberately harder and more reasoning-focused; MMLU is broader.

How do I get started?

Read the paper, clone the repo, and explore the notebooks.

// continue explorando

Ferramentas semelhantes

Agentes de IA

SWE-bench_Pro-os

A benchmark testing whether agents can solve long-horizon coding tasks.

★ 539 estrelasMIT
Ver o guia →
Agentes de IA

MMLU-Pro

The tougher, more robust successor to the MMLU benchmark.

★ 429 estrelasApache-2.0
Ver o guia →
Agentes de IA

SWE-bench

The benchmark that grades AI on real GitHub issues.

★ 6,0 mil estrelasMIT
Ver o guia →
Agentes de IA

notfair-plugin

SEO, GEO, and marketing skills your agents can use.

★ 3,9 mil estrelasMIT
Ver o guia →
Agentes de IA

google_workspace_mcp

Control Gmail, Calendar, Docs, Sheets, Drive and more from AI — a full Google Workspace MCP server.

★ 3,3 mil estrelasMIT
Ver o guia →
Agentes de IA

agentsight

See what your AI agents do — at the system level.

★ 728 estrelasMIT
Ver o guia →
// alternativas

Alternativas em Agentes de IA

Os outros projetos de Agentes de IA com mais estrelas no catálogo do LibreAI — a lista realista de alternativas se gpqa não for o ideal para você.

// mais em agents

Mais em Agentes de IA

Projetos de Agentes de IA próximos no catálogo, os mais próximos em estrelas de gpqa: continue explorando dos dois lados dele.

Baixe o gpqa

Grátis e aberto: pegue o código-fonte, dê uma estrela no repositório e comece a criar.