// devtools · ConardLi/easy-dataset

easy-dataset

easy-dataset — проект с открытым исходным кодом из категории «Инструменты разработчика» от ConardLi (ConardLi/easy-dataset на GitHub). У него 14 981 звезда на GitHub и 1 533 форка, он распространяется по лицензии AGPL-3.0 и последний раз обновлялся на GitHub 1 мая 2026.

Turn domain documents into high-quality LLM fine-tuning, RAG and evaluation datasets through a visual UI.

★ 15,0 тыс. звёзд⑂ 1,5 тыс. форковAGPL-3.0обновлено май 2026
▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.
// факты о проекте

Факты о проекте

Репозиторий
ConardLi/easy-dataset
Звёзды GitHub
14 981
Форки
1 533
Лицензия
AGPL-3.0
Последнее обновление на GitHub
1 мая 2026
Тип страницы
Полное руководство по установке
Официальный сайт
Official site
// как это работает

Как это работает

  1. Gather your domain documents

    Collect the PDFs, Word files, Markdown, EPUB or other documents you want to turn into training or evaluation data.

  2. Run the app

    Start Easy Dataset with Docker Compose or npm, then open it in your browser at http://localhost:1717.

  3. Configure a model and import documents

    Connect an LLM API (or a local Ollama model), import your files, and let parsing, splitting and the domain label tree run.

  4. Generate, review and export

    Generate questions and answers, check quality scores, then export in Alpaca or ShareGPT format, generate a LLaMA Factory config, or upload to Hugging Face.

// возможности

Почему его любят

Intelligent document processing

Parses PDF, Markdown, DOCX, TXT, EPUB and more, with multiple splitting algorithms (Markdown structure, recursive, fixed length, code-aware) and visual segmentation.

Question and answer generation

Auto-extracts questions from text segments and generates answers and chain-of-thought with an LLM, guided by a domain label tree built from your documents.

Multiple dataset types

Builds single-turn QA, multi-turn dialogue and image QA datasets, plus data distillation straight from domain topics without uploading documents.

Model evaluation system

Generates evaluation sets (true/false, choice, short-answer, open-ended), runs judge-model scoring with custom rules, and offers a double-blind human arena.

Training-ready exports

Exports Alpaca, ShareGPT and other formats as JSON/JSONL, with balanced export per tag, one-click LLaMA Factory config generation and direct Hugging Face upload.

Task and resource management

Background batch processing with a task center, token and API-call monitoring dashboards, custom project prompt templates and a 3-model testing playground.

Advertisement
// запустите сами

Запустите сами

  1. Clone the repository

    Clone Easy Dataset and enter the project directory.

    git clone https://github.com/ConardLi/easy-dataset.git
    cd easy-dataset
  2. Install and build with npm

    Install dependencies and build the app (Docker users can skip this and use the official image instead).

    npm install
    npm run build
  3. Start the app

    Launch the server and open the UI in your browser.

    npm run start
    # then open http://localhost:1717
// сценарии использования

Что можно создать

Advertisement
// вопросы и ответы

Вопросы и ответы

Who maintains Easy Dataset?

It is developed by ConardLi and community contributors; an accompanying paper is on arXiv (2507.04009).

Is it free to use?

The software is open source under AGPL-3.0, so self-hosting is free; note AGPL conditions apply if you offer it as a network service.

Does it need a paid API key?

It needs an LLM to generate questions and answers: you can use a paid provider's API key, or a local Ollama model at no API cost.

How does it compare with writing dataset scripts by hand?

Easy Dataset replaces ad-hoc parsing/splitting/generation scripts with a visual pipeline, quality scoring and one-click exports to training formats and LLaMA Factory.

How do I get started?

Clone the repo (or pull the Docker image), start it, open http://localhost:1717, connect a model, and import your first documents.

// продолжить изучение

Похожие инструменты

Инструменты разработчика

rocketride-server

A high-performance AI pipeline engine - build LLM workflows as portable .pipe files

★ 17,8 тыс. звёздMIT
Смотреть руководство →
Инструменты разработчика

slides_maker

Turn papers and code into editable PPTX slides with charts and speaker notes.

★ 538 звёздMIT
Смотреть руководство →
Инструменты разработчика

llm-course

A free course to get into large language models, with roadmaps and runnable Colab notebooks

★ 83,3 тыс. звёздApache-2.0
Смотреть руководство →
Инструменты разработчика

headroom

Compress tool outputs, logs and RAG chunks before they reach the LLM — same answers, fewer tokens

★ 74,7 тыс. звёздApache-2.0
Смотреть руководство →
Инструменты разработчика

econ-writing-skill

Turn your AI assistant into an expert economics-paper writer.

★ 638 звёздMIT
Смотреть руководство →
Инструменты разработчика

LlamaFactory

Unified, efficient fine-tuning of 100+ LLMs and VLMs with a CLI and Web UI — ACL 2024

★ 75,4 тыс. звёздApache-2.0
Смотреть руководство →
// альтернативы

Альтернативы: Инструменты разработчика

Другие проекты из категории «Инструменты разработчика» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если easy-dataset вам не подходит.

// ещё в категории devtools

Больше проектов: Инструменты разработчика

Соседние проекты из категории «Инструменты разработчика» в каталоге, ближайшие по числу звёзд к easy-dataset — продолжайте изучать полку по обе стороны от него.

Получить easy-dataset

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.