flux2-lora-training

# FLUX.2 Klein 9B — LoRA Training Reference ## Архитектура моделей ### FLUX.2 Klein — Rectified Flow Transformer (DiT) | Параметр | Klein 9B | Klein 4B | Qwen-Image-Edit | FLUX.1 dev | |---------|---------|---------|---------|---------| | Blocks | 32 (8+24) | 25 (5+20) | 60 (MM-DiT) | 56 (8+48) | | Embedding dim | 12,288 | 7,680 | — | 15,360 | | VAE latent channels | **128** | 128 | 16 (стандарт) | **16** | | Text encoder | Qwen3 (bundled) | Qwen3 | Qwen2.5-VL (7B) | Mistral-Small-3.1 | | Guidance embeddings | **НЕТ** | НЕТ | — | Есть | | Total params | 9B | 4B | **20B DiT + 7B VL** | 12B | **FLUX.2 Klein VAE:** `AutoencoderKLFlux2`, **32 latent channels** (FLUX.1: 16) → после 2×2 patch packing в трансформере: 32×4 = **128 dims per token**, 16× spatial compression. **Несовместим с FLUX.1 LoRA** — другой VAE, другой latent space. Tiling для больших разрешений: 1024px тайлы с 25% overlap, обрабатывает произвольное разрешение. **Klein editing механизм (Kontext-style):** reference image VAE-кодируется и конкатенируется с noise latent вдоль sequence dim. Positional embeddings разделяют reference и output через **3D RoPE time offsets** (ref1=t:1, ref2=t:2, output=t:0). Поддерживает до 10 reference images теоретически, обучен на 2. **Text encoder Klein:** Qwen3 (встроен в 9B), выходы из слоёв 9, 18, 27. **Guidance embeddings в Klein отсутствуют** — `flux_guidance_mode`/`flux_guidance_value` — no-ops. **Для LoRA тренировки: base модель** `FLUX.2-klein-base-9B`, не distilled 4...