LibreAI / 画像 / ControlNet
// image · lllyasviel/ControlNet

ControlNet

ControlNetは、lllyasvielが公開しているオープンソースの画像プロジェクトです(GitHub: lllyasviel/ControlNet)。GitHubスターは34,123、フォークは3,019で、Apache-2.0ライセンスの下で公開されています。GitHubでの最終更新は2024年2月25日です。

ControlNet — the original conditional control for diffusion models: steer Stable Diffusion with edges, depth, pose and scribbles instead of prompts alone, Apache-2.0

★ 34.1k スター⑂ 3.0k フォークApache-2.0更新 2024年2月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

リポジトリ
lllyasviel/ControlNet
GitHubスター
34,123
フォーク
3,019
ライセンス
Apache-2.0
GitHubでの最終更新
2024年2月25日
カテゴリ
画像
掲載タイプ
完全なインストールガイド
// 仕組み

仕組み

  1. Create the environment

    Per the README: conda env create -f environment.yaml, then conda activate control.

  2. Download models and detectors

    Get the pretrained models and annotator detectors from the project Hugging Face page — SD models go in ControlNet/models, detectors in ControlNet/annotator/ckpts.

  3. Launch a Gradio app

    Run the app for your condition, e.g. python gradio_canny2image.py for edge control or gradio_pose2image.py for pose control, and generate in the browser UI.

// 機能

選ばれる理由

Control beyond the prompt

Edges, depth, pose, segmentation, scribbles and line art become hard constraints the diffusion model must follow.

Locked + trainable design

The base model stays frozen and safe; only the trainable copy learns the condition, so small datasets suffice.

Nine ready Gradio apps

One app per condition type, each with the relevant detector (Canny thresholds, OpenPose, MiDaS depth and others) built in.

Transferable to community models

Control weights can be transferred to customised Stable Diffusion checkpoints, as documented in the project discussions.

Advertisement
// 自分で実行

自分で実行してみる

  1. Create the conda env

    The README install path.

    conda env create -f environment.yaml
    conda activate control
  2. Add the weights

    Download models and detectors from the Hugging Face page into the folders the README names.

    https://huggingface.co/lllyasviel/ControlNet
  3. Run an app

    Example: Canny edge control in the browser.

    python gradio_canny2image.py
// 活用例

作れるもの

Advertisement
// よくある質問

よくある質問

Who makes ControlNet?

Lvmin Zhang (lllyasviel) and co-authors; this is the official implementation of the ControlNet paper (arXiv 2302.05543).

Is ControlNet free?

Yes — Apache-2.0 licensed. The base Stable Diffusion models it controls carry their own licences, which you should check separately.

Should I use this repo or an extension?

For the original models and research code, this repo. For day-to-day generation, most people use the same ControlNet models through the A1111 extension or ComfyUI nodes, which are also listed on LibreAI.

How does it compare to a well-known alternative?

Against plain Stable Diffusion prompting, ControlNet adds structural guarantees a prompt cannot give. Against IP-Adapter-style methods, ControlNet controls layout and pose from explicit maps, while adapters transfer style/subject from a reference image — many pipelines use both.

How do I get started?

conda env create -f environment.yaml, activate control, download the models and detectors from Hugging Face, then run one of the gradio_*.py apps.

// さらに探索

似ているツール

画像

lite.ai.toolkit

A lite C++ AI toolkit: 100+ models with MNN, ORT and TRT, including Det, Seg, Stable-Diffusion, Face-Fusion.

★ 4.4k スターGPL-3.0
ガイドを見る →
画像

stable-diffusion-videos

Create 🔥 videos with Stable Diffusion by exploring the latent space and morphing between text prompts

★ 4.7k スターApache-2.0
ガイドを見る →
画像

StableSwarmUI

Modular Stable Diffusion web UI that makes power tools accessible, fast, and extensible

★ 4.9k スターMIT
ガイドを見る →
画像

VAE-BlessUp

Easily modify and tune a Stable Diffusion VAE

★ 84 スターCustom
ガイドを見る →
画像

dgenerate

Scriptable command-line image and animation generator for Stable Diffusion

★ 44 スターBSD-3-Clause
ガイドを見る →
画像

ml-stable-diffusion

Stable Diffusion with Core ML on Apple Silicon

★ 18.0k スターMIT
ガイドを見る →
// 代替候補

代替候補: 画像

LibreAIカタログに掲載された画像プロジェクトの中で最もスターの多いもの — ControlNetが合わなかった場合に検討したい、現実的な候補リストです。

// さらに見る image

さらに見る: 画像

カタログの中でControlNetとスター数が近い画像プロジェクト — 前後の棚もそのまま見て回れます。

ControlNetを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。