flux-RealismLora
קוד פתוחXLabs-AIother2024-08-06
תוספת קטנה שמזריקה מראה ריאליסטי יותר לתמונות שנוצרות עם פלאקס. פתרון מתאים למי שרוצה עור וטקסטורות אמינות בלי להחליף מודל בסיס.
- 21.4 MBמשקל הקבצים
- 16,307הורדות בחודש
- 1,250לייקים
מה זה
מדובר במשקולות לורה שפותחו כדי לחדד יצירת תמונות פוטוריאליסטיות מעל מודל הבסיס של בלאק פורסט לאבס. כל הקבצים מסתכמים בכעשרים ואחד מגה בייט בלבד, כך שלא מורידים כאן מודל מלא אלא שכבת התאמה קלה שנטענת ישירות מעל המשקולות הכבדות של פלאקס דב. הרעיון הוא לתקן את המראה הפלסטיקי שמאפיין לעיתים מודלים גנרטיביים ולהוסיף חספוס טבעי לתוצאה הסופית.
מי שפיתחו את המשקולות פרסמו גם את סקריפטי האימון שלהם והתאימו את הפתרון לעבודה דרך דיפיוזרס ודרך סביבות עבודה כמו קומפי יו איי. אין פה מבחני ביצועים רשמיים או מדדים מספריים שמראים שיפור באחוזים מול המודל המקורי, אלא בעיקר דוגמאות חזותיות שמציגות את השפעת הסגנון על דמויות וסצנות סינמטיות.
מתאים ל
- הפקת פורטרטים אמינים
הלורה מוסיפה טקסטורה טבעית וגווני עור אמינים יותר לדמויות שנוצרות עם מודל הבסיס.
- עבודה בתחנות קומפי יו איי
משתלב ישירות בתהליכי עבודה קיימים ומאפשר לבדוק שינויי סגנון בלחיצת כפתור בלי להעמיס על הזיכרון.
- אימון שכבות נוספות
היוצרים חילקו את קוד האימון, מה שמאפשר לבנות שכבות דומות על גבי אותו מבנה נתונים.
איפה זה נופל
הקובץ הזה לבדו לא יודע לעשות כלום בלי מודל הבסיס ברקע, ולכן כל מגבלות המהירות והחומרה של פלאקס חלות כאן במלואן. היוצרים לא פרסמו נתוני בנצ'מרק או מדידות איכות מסודרות, ואין תיעוד לגבי היקף הדאטהסט שעליו התבצע האימון מעבר למבנה התיקיות הטכני. בנוסף, התמיכה בשפה מתמקדת באנגלית בלבד, כך שפרומפטים בעברית יתנו תוצאות לא צפויות.
שאלות
נפוצות
האם אפשר להריץ את הקובץ הזה לבד?
לא. מדובר במשקולות לורה ששוקלות כעשרים ואחד מגה בייט ונועדו אך ורק להלבשה על גבי מודל הבסיס של פלאקס דב. בלי המודל המקורי ברקע, הקובץ הזה אינו בר שימוש.
האם הכלי מתאים למוצר מסחרי בתשלום?
לא על פי תנאי ההפצה הנוכחיים. המשקולות כפופות לרישיון השימוש הלא מסחרי של בלאק פורסט לאבס, ולכן אסור להשתמש בהן להפקת רווחים ישירים ללא אישור ייעודי.
איך מריצים
טוענים את קובץ המשקולות דרך סקריפט הסקת מסקנות בפייתון או מושכים אותו כצומת בתוך קומפי יו איי יחד עם מודל הבסיס. הגודל של הלורה עצמה זניח לחלוטין, אבל מודל הבסיס דורש מעבד גרפי חזק עם שפע זיכרון ייעודי כדי להריץ תמונה בודדת בקצב סביר.
אם אין לכם כרטיס מתאים בשרת עצמאי, החזקה של חומרה כזו במיוחד עולה לא מעט כסף, ובמקרה כזה הגיוני יותר לפנות לספקי ענן או ממשקי תוכנה חיצוניים שכבר מחזיקים את המודל הגדול באוויר ורק להזריק להם את המשקולות.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-RealismLora")
img = pipe("a photo").images[0]הקבצים
3 קבצים במאגר, 21.4 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כלא מסחרי וכפוף לתנאי השימוש של פלאקס דב. זה אומר שאתם יכולים להתנסות, לפתח סביבו תהליכי עבודה ולבדוק תוצאות באופן פנימי, אבל אי אפשר לשלב אותו בתוך מוצר מסחרי שמוכר שירות או מפיק רווחים בלי להסדיר רישוי מתאים מול בעלי הזכויות.