GPT
הוספת כלי
C

Canopus-LoRA-Flux-FaceRealism

קוד פתוח

prithivMLmodscreativeml-openrail-m2024-08-29

  • diffusers
  • text-to-image
  • lora
  • stable diffusion
  • flux

תוספת קטנה למודל FLUX שמחדדת תווי פנים ומרקם עור בצילומים. מיועדת למי שרוצה לשפר פורטרטים בלי לאמן מודל שלם מאפס.

  • 606 MBמשקל הקבצים
  • 2,389הורדות בחודש
  • 79לייקים

מה זה

מדובר במשקולות LoRA שמתלבשות על מודל הבסיס FLUX.1-dev ומיועדות ליצירת תמונות פנים ריאליסטיות. האימון התבסס על סט נתונים מצומצם למדי של קצת יותר ממאתיים תמונות ברזולוציה גבוהה, שעברו תיוג באנגלית באמצעות florence2-en. המשקולות אומנו במשך עשרים אפוכים עם אופטימייזר מסוג AdamW וקצב למידה קבוע, כשסך צעדי האימון עומד על מעל 3,100 צעדים.

במקום להחליף את המודל הגדול, הקובץ הזה מוסיף שכבת דיוק ממוקדת של 64 ממדים על גבי הרשת הקיימת. זה אומר שהוא מתמקד בשיפור פרטים כמו תאורת סטודיו, חדות עיניים וטקסטורת עור, תוך שמירה על היכולת הכללית של המודל המקורי. כדי להפעיל את ההשפעה של השכבה הזו צריך לכלול בתיאור התמונה מילות הפעלה ייעודיות כמו face, realism או הצירוף face realism.

מתאים ל

  • תמונות פרופיל ריאליסטיות

    התאמה ליצירת דיוקנאות תקריב עם תאורת סטודיו מבוקרת ומרקם פנים טבעי.

  • הדמיות אופנה

    יצירת צילומי דוגמנות בסגנון צילום חוץ או סטודיו לפי הגדרות עדשה ותאורה.

  • שיפור אמינות תמונות קיימות

    שימוש במילות ההפעלה כדי לדחוף את FLUX לייצר עור אנושי בלי מראה פלסטיקי.

איפה זה נופל

היוצר מציין במפורש שהפיתוח עדיין בשלבי אימון ולא מדובר בגרסה סופית, כך שהתוצאות עלולות לכלול עיוותים וביצועים ירודים במקרים מסוימים. יש אזהרה חריגה וחשובה בכרטיס: אסור להשתמש ב־negative prompt, כי השימוש בו גורם לעיוותים חמורים וארטיפקטים בתמונה הסופית.

שאלות
נפוצות

האם אפשר להריץ את זה בלי מודל הבסיס FLUX?

לא. מדובר במשקולות LoRA בלבד בנפח של כ־606 מגה בייט, והן דורשות את FLUX.1-dev כדי לעבוד. הקובץ רק מעדכן משקלים קיימים ולא מייצר תמונה בפני עצמו.

למה התמונות יוצאות מעוותות כשאני מגדיר פרומפט שלילי?

כרטיס המודל מזהיר במפורש לא להשתמש ב־negative prompt בריצה הזו. המודל אומן באופן שבו הנחיות שליליות שוברות את החישוב ומובילות לפגמים חזותיים בתמונה.

איך מריצים

אתם טוענים את המודל הבסיסי FLUX.1-dev דרך ספריית diffusers בדיוק של bfloat16 על כרטיס מסך, ואז טוענים מעליו את משקולות ה־LoRA באמצעות הפקודה load_lora_weights. המשקל של קובצי התוספת עצמם קל יחסית, 606 מגה בייט, אבל אתם עדיין חייבים כרטיס מסך חזק מאוד עם זיכרון וידאו משמעותי כדי להחזיק את מודל הבסיס של FLUX. אם אין לכם חומרה ייעודית כזו בענן או במחשב מקומי, פשוט עדיף להשתמש ב־API חיצוני שמריץ את מודל הבסיס עם תמיכה בהזרקת LoRA.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("prithivMLmods/Canopus-LoRA-Flux-FaceRealism")
img = pipe("a photo").images[0]

הקבצים

16 קבצים במאגר, 606 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא creativeml-openrail-m. הוא מתיר שימוש מסחרי, אבל מחייב עמידה ברשימת הגבלות אתיות על השימוש בתוצרים, כולל איסור על יצירת תוכן פוגעני או מטעה, וחובה להעביר את אותם תנאי רישיון הלאה אם אתם מפיצים את המשקולות במוצר שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗