GPT
הוספת כלי
4

400GB-LoraXL

קוד פתוח

FFusionopenrail++2023-09-07

  • diffusers
  • stable-diffusion-xl
  • stable-diffusion
  • text-to-image
  • lora

מאגר ענק שמכיל עשרות מתאמי LoRA שחולצו ממודלי SDXL שונים. הפתרון מיועד למי שחוקר מיזוג משקלים ובדיקות סגנון בלי להחזיק צ'קפוינטים מלאים לכל וריאציה.

  • 53.1 GBמשקל הקבצים
  • 2,062הורדות בחודש
  • 69לייקים

מה זה

הפרויקט מרכז 134 קבצים בנפח כולל של 53.1 ג'יגה בייט, המכילים מתאמי LoRA שחולצו באמצעות פירוק SVD ממודלים קיימים של SDXL. במקום לאמן שכבות מאפס, היוצרים חישבו את ההפרשים בין מודלים ממוזגים או מכווננים לבין מודלי בסיס כמו SDXL 0.9, SDXL 1.0 ו־FFusionXL BASE, ושמרו כ־70 אחוז מעומק המידע.

בטבלת המדידות מפורטים ערכי Magnitude ו־Strength עבור רכיבי ה־UNet ומקודדי הטקסט של כל קובץ. הנתונים האלה משקפים את עוצמת השינוי שהמתאם מחיל על רשת הבסיס. בחלק מהקבצים, כמו DreamShaper או pyros, רכיבי מקודד הטקסט מוגדרים כלא נמצאו, מה שמעיד על חילוץ חלקי שמשפיע רק על ה־UNet ולא על הבנת הטקסט.

מתאים ל

  • ניסויי מיזוג שכבות

    בדיקת שילוב של עד חמישה מתאמים במקביל עם משקלים שונים על מודל SDXL יחיד.

  • מחקר אלגוריתמי ב־SVD

    ניתוח האופן שבו חילוץ מתאמים מבוסס פירוק ערכים סינגולריים משפיע על משקלי UNet.

  • החלפת סגנונות מהירה

    בדיקת סגנונות אנימה, ריאליזם וציור בלי להחזיק עשרות קובצי צ'קפוינט מלאים.

איפה זה נופל

החילוץ בוצע ממודלים שרובם לא אומנו בצורה נקייה אלא מוזגו ב־ComfyUI מגרסאות SDXL 0.9, ולכן הם כוללים מפתחות עודפים במקודד הטקסט שדרשו התאמות ידניות. איכות התוצרים אינה מובטחת, והיוצרים מזהירים במפורש מפני פלט פוגעני או תכנים למבוגרים שקיימים בחלק מהמתאמים. בנוסף, חלק מהקבצים מחלצים רק שכבות מסוימות, מה שעלול לייצר חוסר יציבות ויזואלית.

שאלות
נפוצות

חייבים להוריד את כל 53 הג'יגה בייט כדי לעבוד עם המאגר?

לא. המאגר הוא אוסף של קובצי safetensors בודדים. בוחרים את שם הקובץ הרצוי מתוך הרשימה וטוענים רק אותו דרך diffusers ישירות מהרשת או בהורדה מקומית בודדת.

האם אפשר להשתמש בקבצים האלה במוצר מסחרי?

לא, המתאמים במאגר מוגדרים למחקר ובדיקות בלבד, והזכויות עליהם תלויות במודלים המקוריים שמהם הם חולצו. אם אתם חייבים רישיון מסחרי, תצטרכו להשתמש במודל בסיס ייעודי כמו FFusionXL BASE ללא המתאמים האלה.

למה בחלק מהמתאמים כתוב Not Found במקודדי הטקסט בטבלה?

משום שבמודלים האלה החילוץ לא זיהה או לא שמר שינויים בשכבות ה־Text Encoder. במקרים כאלה המתאם ישפיע אך ורק על שלב הציור ב־UNet, והבנת הפרומפט תישאר לחלוטין של מודל הבסיס.

איך מריצים

טעינת המודל מתבצעת דרך ספריית diffusers בפייתון באמצעות צינור SDXL רגיל, למשל מול FFusionXL BASE בפורמט float16. במקום להוריד את כל 53 הג'יגה בייט, מושכים רק את קובץ ה־safetensors הספציפי שרוצים לבדוק וטוענים אותו לצינור עם הפונקציה load_lora_weights.

כדי להריץ מקומית צריך כרטיס מסך עם לפחות 12 עד 16 ג'יגה בייט VRAM עבור SDXL, רצוי עם הפעלת cpu offload. אפשר להשתמש בפקודה fuse_lora לחיבור המשקלים ישירות למודל הבסיס ולחסוך זמני עיבוד, או להישאר עם קריאות API חיצוניות אם אין לכם חומרה ייעודית למודלי XL כבדים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("FFusion/400GB-LoraXL")
img = pipe("a photo").images[0]

הקבצים

134 קבצים במאגר, 53.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־openrail++, והמשקלים במאגר מיועדים למחקר ולבדיקות בלבד ולא לשימוש מסחרי, בהתאם למגבלות של כל LoRA מקורי. שימוש מסחרי מותר רק במודלי הבסיס הנקיים של החברה, כמו FFusionXL BASE, שאומנו על תמונות ברישיון מלא.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗