diffusion-engineering

Solid

Практическая инженерия диффузионных моделей: архитектуры, обучение, инференс, оптимизация памяти. Использовать при любых задачах с диффузионными моделями: проектирование или модификация архитектуры (UNet/DiT/Flow/Flux), выбор и настройка schedulers/samplers, дообучение (LoRA/DreamBooth/full fine-tune), оптимизация памяти (AMP/checkpointing/ZeRO/FSDP/quantization), замена или fusion текст-энкодеров (CLIP/Qwen), работа с Diffusers, отладка диффузионных пайплайнов, оценка качества (FID/CLIPScore/LPIPS), latent diffusion, VAE, guidance/CFG, rectified flow, Stable Diffusion, SDXL, Flux. Также применять при вопросах про GPU-память при обучении генеративных моделей, text-to-image пайплайны, ControlNet, multi-encoder fusion, WebDataset. Do NOT use for writing FLUX.2 Klein generation prompts (use flux2-klein-prompting) или для FLUX.2 Klein / Qwen-Edit LoRA-тренинга и edit-LoRA (use flux2-lora-training); это общая диффузионная инженерия, не специфика FLUX.2 Klein.

AI & Automation 138 stars 20 forks Updated today MIT

Install

View on GitHub

Quality Score: 86/100

Stars 20%
71
Recency 20%
100
Frontmatter 20%
70
Documentation 15%
100
Issue Health 10%
80
License 10%
100
Description 5%
100

Skill Content

# Diffusion Engineering Skill ## Быстрая ориентация Три инженерных решения, которые больше всего влияют на качество/скорость/стоимость: 1. **Где идёт диффузия** → пиксели (дорого) или латентное пространство (LDM/SD-семейство — практично) 2. **Backbone денойзера** → UNet (классика, проще) или Transformer/DiT/Flow (масштабируется лучше) 3. **Управление сэмплингом** → scheduler, число шагов, guidance_scale — часто дают больше, чем правка сети --- ## Reference files — читать по задаче | Тема | Файл | Когда читать | |---|---|---| | Архитектуры и data flow | `references/architectures.md` | DDPM/SDE/LDM/DiT/Flux/VAE/SDXL, схема пайплайна | | Schedulers и guidance | `references/samplers.md` | DDIM/Euler/Heun/DPM-Solver/PNDM, CFG, prediction_type | | Обучение и дообучение | `references/training.md` | Loss/цели, LoRA/DreamBooth/full FT, гиперпараметры | | Память и распределённость | `references/memory.md` | AMP, checkpointing, ZeRO, FSDP, quantization, FP8 | | Текст-энкодеры и данные | `references/encoders-data.md` | CLIP/Qwen/multi-encoder, токенизация, data pipeline | | Оценка и траблшутинг | `references/eval-debug.md` | FID/CLIPScore/LPIPS, типовые поломки и фиксы, лицензии | --- ## Быстрый чеклист «я строю/модифицирую diffusion» - [ ] **Backbone:** UNet (проще) или DiT/Flow (масштабирование)? - [ ] **Модули зафиксированы:** tokenizer → text encoder → `encoder_hidden_states` → denoiser → VAE decode - [ ] **Scheduler выбран:** DDIM / Euler / DPM-Solver — A/B на фиксированных...

Details

Author
AnastasiyaW
Repository
AnastasiyaW/claude-code-config
Created
4 months ago
Last Updated
today
Language
Python
License
MIT

Integrates with

Bundled in these plugins

Similar Skills

Semantically similar based on skill content — not just same category

AI & Automation Solid

vlm-segmentation-engineering

Экспертный скилл по прикладной инженерии VLM, сегментационных моделей и диффузионных архитектур для GPU-деплоя. Используй ВСЕГДА когда речь идёт о: SAM2, SAM3, Florence-2, LLaVA, Grounding DINO, OWLv2, YOLO-World, EdgeTAM — выбор модели, интеграция, pipeline, код; диффузионных моделях — UNet/DiT/Flow/Flux, schedulers, LoRA, AMP, ZeRO/FSDP, text encoders (CLIP/Qwen), VAE, CFG; GPU-деплое — MIG, MPS, torch.compile, TorchAO, Triton, memory optimization, два инстанса на H100; open-vocab сегментации и phrase grounding; part-level labeling и instance masks из текстового промпта; замене/fusion текст-энкодеров; fine-tune/LoRA/DreamBooth диффузионных моделей. Триггеры: SAM, Florence, LLaVA, Grounding DINO, YOLO-World, diffusion, UNet, DiT, Flux, LoRA, scheduler, guidance_scale, VAE, CLIP embeddings, Qwen embedder, MIG, MPS, TorchAO, Triton inference, сегментация по тексту, instance masks, open-vocab detection, text-conditioned segmentation. Do NOT use for pure diffusion-only work without a VLM/segmentation component —

138 Updated today
AnastasiyaW
AI & Automation Solid

flux2-lora-training

Comprehensive reference for training LoRAs on FLUX.2 Klein 9B and Qwen Image Edit 2511 models. Use this skill whenever the user asks about: training LoRAs for flux2/flux 2 klein/qwen-image-edit, before/after edit LoRAs (head swap, face swap, image editing), inpainting LoRAs, training at larger resolutions, latent space expansion, VAE fine-tuning, multi-reference training (2 input images → 1 output), dataset preparation for edit models, zero_cond_t, ai-toolkit/SimpleTuner/DiffSynth configs, BFS head swap LoRA methodology, Qwen Edit architecture, consistency mode, dual encoding, FuseAnyPart, ACE++, maximum training resolution, или любые вопросы об обучении диффузионных моделей. ВСЕГДА используй этот скилл. Do NOT use for writing FLUX.2 Klein generation/edit prompts at inference time (use flux2-klein-prompting), nor for general non-training diffusion architecture/inference/memory work (use diffusion-engineering); this skill is about LoRA/VAE training, not prompting or serving.

138 Updated today
AnastasiyaW
AI & Automation Featured

flux-txt2img

Build Flux txt2img workflows — Flux.1 Dev (SRPO), Flux 2 Klein 9B, Turbo LoRAs, FluxGuidance, and DualCLIPLoader patterns

450 Updated today
artokun