LibreAI / Développement / datasets
// devtools · huggingface/datasets

datasets

datasets est un projet de développement open source, créé par huggingface (huggingface/datasets sur GitHub). Il compte 22 042 étoiles sur GitHub et 3 506 forks, il est publié sous la licence Apache-2.0 et a été mis à jour pour la dernière fois sur GitHub le 8 octobre 2026.

Hugging Face's library for loading and processing datasets for AI models in one line

★ 22,0 k étoiles⑂ 3,5 k forksApache-2.0mis à jour oct. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
22 042
Forks
3 506
Licence
Apache-2.0
Dernière mise à jour sur GitHub
8 octobre 2026
Catégorie
Développement
Type de fiche
Guide d'installation complet
Site officiel
Official site
// fonctionnement

Comment ça marche

  1. Pick a dataset

    Find a dataset on the Hugging Face Hub, or prepare local files (CSV, JSON, images, audio) to load.

  2. Get the library

    Install the datasets package with pip or conda - no repository clone needed for normal use.

  3. Install and configure

    Add optional extras for audio, vision or framework integration (PyTorch, TensorFlow, JAX) as needed.

  4. Load your first dataset

    Call load_dataset, inspect the first example, and process it with map() or streaming.

// fonctionnalités

Pourquoi on l'adore

One-line loading

Load Hub or local datasets with load_dataset and get a typed, memory-mapped Dataset object.

Streaming mode

Stream datasets without downloading them, so you can start training on huge corpora immediately.

Fast processing

Apply map, filter and formatting operations backed by Arrow for speed and low memory use.

Multimodal support

Handle text, audio, images, video, PDFs and even 3D medical (NIfTI) data with dedicated helpers.

Framework integration

Feed datasets directly into PyTorch, TensorFlow or JAX training loops with optional extras.

Local file support

Build datasets from your own CSV, JSON, Parquet, text or folder structures.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Clone the repository

    Get the source code from GitHub and enter the project directory.

    git clone https://github.com/huggingface/datasets.git
    cd datasets
  2. Install the library

    The base install covers text and tabular data; extras add audio, vision and framework support.

    pip install datasets
    # optional: pip install datasets[audio]
  3. Load and inspect a dataset

    Use the Quick Start pattern from the README: load, then read the first training example.

    from datasets import load_dataset
    ds = load_dataset("rajpurkar/squad")
    print(ds["train"][0]) # see README quick start
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who maintains this project?

It is maintained by Hugging Face and a large open-source community on GitHub.

Is it free to use?

Yes - the library is Apache-2.0 licensed and free. Individual datasets on the Hub carry their own licenses, so check each dataset card.

Does it need a paid API key?

No paid key is needed. A free Hugging Face account/token is only required for gated or private datasets.

How does it compare to alternatives?

Compared with loading data by hand with Pandas, Datasets adds Hub integration, Arrow-backed memory mapping, streaming and standard splits - the tradeoff is learning its API for simple one-off jobs.

How do I get started?

Run pip install datasets, then call load_dataset with a Hub dataset name and print the first example, following the README Quick Start.

// continuez l'exploration

Outils similaires

Développement

agents-course

Hugging Face's free course on AI agents — smolagents, LangGraph and LlamaIndex, with a final benchmark

★ 33,3 k étoilesApache-2.0
Voir le guide →
Développement

deepseek-cli

A command-line AI coding assistant powered by DeepSeek Coder models.

★ 319 étoilesMIT
Voir le guide →
Développement

DataDesigner

NVIDIA NeMo Data Designer: build validated, multimodal synthetic datasets from scratch or from seed data.

★ 2,3 k étoilesApache-2.0
Voir le guide →
Développement

inspector

MCPJam Inspector: chat with, inspect, debug, and evaluate MCP servers across clients and models.

★ 2,2 k étoilesApache-2.0
Voir le guide →
Développement

peft

Fine-tune huge models on small hardware with LoRA and other efficient methods

★ 21,8 k étoilesApache-2.0
Voir le guide →
Développement

potpie

A context graph for the AI-native SDLC — so agents and humans share one map of the codebase.

★ 5,7 k étoilesApache-2.0
Voir le guide →
// alternatives

Alternatives en Développement

Les autres projets de la catégorie Développement avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si datasets ne vous convient pas.

// plus en devtools

Plus en Développement

Projets de la catégorie Développement proches dans le catalogue, les plus proches en étoiles de datasets — continuez à explorer de part et d'autre.

Obtenir datasets

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.