// devtools · huggingface/datasets

datasets

datasets é um projeto de ferramentas de desenvolvimento de código aberto de huggingface (huggingface/datasets no GitHub). Tem 22.042 estrelas no GitHub e 3.506 forks, é publicado sob a licença Apache-2.0 e foi atualizado pela última vez no GitHub em 8 de outubro de 2026.

Hugging Face's library for loading and processing datasets for AI models in one line

★ 22,0 mil estrelas⑂ 3,5 mil forksApache-2.0atualizado out 2026
▦ visual: o README deste projeto não inclui nenhuma captura incorporável,
então aqui vai um marcador. O guia abaixo está completo mesmo assim.
// dados do projeto

Dados do projeto

Estrelas no GitHub
22.042
Forks
3.506
Licença
Apache-2.0
Última atualização no GitHub
8 de outubro de 2026
Tipo de ficha
Guia de instalação completo
Site oficial
Official site
// como funciona

Como funciona

  1. Pick a dataset

    Find a dataset on the Hugging Face Hub, or prepare local files (CSV, JSON, images, audio) to load.

  2. Get the library

    Install the datasets package with pip or conda - no repository clone needed for normal use.

  3. Install and configure

    Add optional extras for audio, vision or framework integration (PyTorch, TensorFlow, JAX) as needed.

  4. Load your first dataset

    Call load_dataset, inspect the first example, and process it with map() or streaming.

// recursos

Por que as pessoas gostam tanto

One-line loading

Load Hub or local datasets with load_dataset and get a typed, memory-mapped Dataset object.

Streaming mode

Stream datasets without downloading them, so you can start training on huge corpora immediately.

Fast processing

Apply map, filter and formatting operations backed by Arrow for speed and low memory use.

Multimodal support

Handle text, audio, images, video, PDFs and even 3D medical (NIfTI) data with dedicated helpers.

Framework integration

Feed datasets directly into PyTorch, TensorFlow or JAX training loops with optional extras.

Local file support

Build datasets from your own CSV, JSON, Parquet, text or folder structures.

Advertisement
// execute você mesmo

Execute você mesmo

  1. Clone the repository

    Get the source code from GitHub and enter the project directory.

    git clone https://github.com/huggingface/datasets.git
    cd datasets
  2. Install the library

    The base install covers text and tabular data; extras add audio, vision and framework support.

    pip install datasets
    # optional: pip install datasets[audio]
  3. Load and inspect a dataset

    Use the Quick Start pattern from the README: load, then read the first training example.

    from datasets import load_dataset
    ds = load_dataset("rajpurkar/squad")
    print(ds["train"][0]) # see README quick start
// casos de uso

O que você pode criar

Advertisement
// perguntas frequentes

Perguntas frequentes

Who maintains this project?

It is maintained by Hugging Face and a large open-source community on GitHub.

Is it free to use?

Yes - the library is Apache-2.0 licensed and free. Individual datasets on the Hub carry their own licenses, so check each dataset card.

Does it need a paid API key?

No paid key is needed. A free Hugging Face account/token is only required for gated or private datasets.

How does it compare to alternatives?

Compared with loading data by hand with Pandas, Datasets adds Hub integration, Arrow-backed memory mapping, streaming and standard splits - the tradeoff is learning its API for simple one-off jobs.

How do I get started?

Run pip install datasets, then call load_dataset with a Hub dataset name and print the first example, following the README Quick Start.

// continue explorando

Ferramentas semelhantes

Ferramentas de desenvolvimento

agents-course

Hugging Face's free course on AI agents — smolagents, LangGraph and LlamaIndex, with a final benchmark

★ 33,3 mil estrelasApache-2.0
Ver o guia →
Ferramentas de desenvolvimento

deepseek-cli

A command-line AI coding assistant powered by DeepSeek Coder models.

★ 319 estrelasMIT
Ver o guia →
Ferramentas de desenvolvimento

DataDesigner

NVIDIA NeMo Data Designer: build validated, multimodal synthetic datasets from scratch or from seed data.

★ 2,3 mil estrelasApache-2.0
Ver o guia →
Ferramentas de desenvolvimento

inspector

MCPJam Inspector: chat with, inspect, debug, and evaluate MCP servers across clients and models.

★ 2,2 mil estrelasApache-2.0
Ver o guia →
Ferramentas de desenvolvimento

peft

Fine-tune huge models on small hardware with LoRA and other efficient methods

★ 21,8 mil estrelasApache-2.0
Ver o guia →
Ferramentas de desenvolvimento

potpie

A context graph for the AI-native SDLC — so agents and humans share one map of the codebase.

★ 5,7 mil estrelasApache-2.0
Ver o guia →
// alternativas

Alternativas em Ferramentas de desenvolvimento

Os outros projetos de Ferramentas de desenvolvimento com mais estrelas no catálogo do LibreAI — a lista realista de alternativas se datasets não for o ideal para você.

// mais em devtools

Mais em Ferramentas de desenvolvimento

Projetos de Ferramentas de desenvolvimento próximos no catálogo, os mais próximos em estrelas de datasets: continue explorando dos dois lados dele.

Baixe o datasets

Grátis e aberto: pegue o código-fonte, dê uma estrela no repositório e comece a criar.