Flux-Midjourney-Mix2-LoRA
קוד פתוחstrangerzonehfother2024-11-26
התאמה קלה שמנסה לחקות את המראה והסגנון של מידג'רני גרסה 6 על גבי מודל פלאקס. זה פתרון למי שרוצה אסתטיקה של צילום אופנה ופורטרטים בלי להשתמש בבוט של דיסקורד.
- 595 MBמשקל הקבצים
- 5,694הורדות בחודש
- 553לייקים
מה זה
מדובר במשקולות אימון מסוג לורה שמולבשות על גבי מודל הבסיס של פלאקס דב. הרעיון כאן הוא לקחת את היכולות הטבעיות של פלאקס בבניית תמונות ולהלביש עליהן גימור ספציפי שמזכיר את התוצרים של מידג'רני, במיוחד סביב ריאליזם, צילומי תקריב וצילום מוצרים.
האימון נעשה על דאטהסט קטן מאוד של 36 תמונות בלבד, שעברו תיוג באנגלית באמצעות פלורנס 2. האימון רץ במשך 28 תקופות ובסך הכל 3,660 צעדים, עם ממד רשת 64 ואלפא 32. זה אומר שהשכבה מכוונת חזק מאוד לסגנון מסוים מתוך מעט מאוד דוגמאות מקור.
מתאים ל
- פורטרטים בסגנון אופנה
צילום דמויות ותקריבים שמחפשים תאורה רכה ומרקם שנראים כמו צילום מגזין.
- צילומי תקריב של אוכל
התמקדות בטקסטורות עשירות, עומק שדה ופרטים חדים על מוצרי מזון.
- בדיקות סגנון מקומיות
קבלת תוצאות שדומות למנוע סגור בלי לצאת מסביבת הפיתוח של פלאקס.
איפה זה נופל
האימון מבוסס על 36 תמונות בלבד. מספר כזה קטן עלול להוביל לשינון יתר של אלמנטים מסוימים, רקעים שחוזרים על עצמם או קושי להתרחק מהדוגמאות שהוזנו. בנוסף, חובה להשתמש במילת ההפעלה הספציפית בתחילת הטקסט, ומודל הבסיס שעליו הוא נשען אינו מיועד לייצור מסחרי חופשי.
שאלות
נפוצות
האם אפשר להריץ את הקובץ הזה לבד בלי מודלים נוספים?
לא. מדובר בקובץ לורה בלבד ששוקל 595 מגה בייט, והוא מכיל רק את תוספת המשקולות. כדי ליצור תמונה חייבים לטעון מתחתיו את מודל הבסיס פלאקס דב במלואו.
איך מפעילים את הסגנון בפועל בתוך הפרומפט?
חובה לפתוח את הפרומפט במחרוזת MJ v6 בדיוק כפי שהוגדר בכרטיס המודל. ללא מילת ההפעלה הזו, המודל לא ימשוך את המשקולות שהותאמו באימון.
האם כדאי להשתמש בזה למערכת מסחרית פעילה?
לא מומלץ בלי בדיקה משפטית. המודל נשען על פלאקס דב שאינו חופשי למסחר, והרישיון בעמוד מוגדר ככללי בלי הרשאות מפורשות.
איך מריצים
טוענים את המשקולות ישירות לתוך פייפליין של דיפיוזרס בפייתון מעל מודל הבסיס בפלואוט 16. צריך להקפיד להוסיף לפרומפט את מילת ההפעלה המדויקת, אחרת לא מקבלים את האפקט של האימון. הרזולוציה המומלצת בדף המודל היא 768 על 1024 פיקסלים, או ברירת מחדל של 1024 על 1024.
הקבצים של השכבה עצמה שוקלים בסך הכל 595 מגה בייט, אבל הם לא רצים לבד. אתם חייבים להחזיק בחומרה שמסוגלת להריץ את פלאקס דב המקורי עם כרטיס מסך מתאים וזיכרון וידאו משמעותי, או לפנות לשרת מרוחק שמריץ את מודל הבסיס אם אין לכם כרטיס חזק מקומית.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("strangerzonehf/Flux-Midjourney-Mix2-LoRA")
img = pipe("a photo").images[0]הקבצים
10 קבצים במאגר, 595 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־other, כלומר אין רישיון קוד פתוח סטנדרטי בדף. מעבר לזה, המודל מתבסס ישירות על פלאקס דב, שמגיע עם תנאי שימוש מגבילים שאינם מאפשרים שימוש מסחרי רגיל. אם אתם מתכננים להכניס את זה למוצר מניב, צריך לבדוק היטב את תנאי הבסיס של החברה המפתחת.