GPT
הוספת כלי
C

Canopus-LoRA-Flux-UltraRealism-2.0

קוד פתוח

prithivMLmodscreativeml-openrail-m2024-10-17

  • diffusers
  • text-to-image
  • lora
  • flux-dev
  • ultra

התאמת LoRA קלה שמיועדת למודלי Flux ומוסיפה מראה צילומי ריאליסטי. היא פונה למי שמחפש טקסטורות עור ותאורה טבעית ביצירת תמונות בלי לאמן מודל שלם מאפס.

  • 605 MBמשקל הקבצים
  • 1,679הורדות בחודש
  • 130לייקים

מה זה

מדובר במשקולות LoRA במשקל של כ־605 מגה בייט שמתלבשות על מודל בסיס ממשפחת Flux, כמו FLUX.1-dev, באמצעות ספריית diffusers. המטרה כאן היא לכוון את הפלט לסגנון צילום חד, פורטרטים ותאורת סטודיו או חוץ טבעית, בעזרת מילת הפעלה ייעודית. המפתח השתמש ב־70 תמונות ברזולוציה גבוהה לצד תיוג אוטומטי של florence2-en, ואימן את הרשת לאורך 20 תקופות אימון עם אופטימייזר מסוג AdamW.

בפועל, כמות הדאטה הזו קטנה מאוד. האימון הגיע ליותר מ־3,800 צעדים על בסיס אותן 70 תמונות, מה שאומר שהמודל ראה כל תמונה שוב ושוב. הוא מנסה לתקן את המראה הפלסטי שלעתים מופיע ביצירות גנרטיביות, אך בשל גודל המדגם הוא ממוקד בעיקר בסגנון צילומי מוגדר ולא בהבנה רחבה של מושגים חדשים.

מתאים ל

  • פורטרטים פוטוריאליסטיים

    יצירת תקריבים של פנים ואנשים עם דגש על מרקם עור ותאורת סטודיו טבעית.

  • תמונות אופנה בסגנון Raw

    הפקת סצנות עירוניות וצילומי רחוב שמחקים עדשות מצלמה מקצועיות כמו 35 מ"מ.

  • הפחתת המראה המלאכותי

    שילוב בפייפליין קיים כדי לרכך את האופי הדיגיטלי והחלק של מודל הבסיס.

איפה זה נופל

היוצר מציין במפורש שהמודל נמצא עדיין בשלבי אימון, אינו גרסה סופית, ועלול לייצר פגמים ויזואליים וביצועים ירודים במקרים מסוימים. אימון ממושך על 70 תמונות בלבד יוצר סיכון ממשי של התאמת יתר, מה שעלול לגרום לתמונות להיראות דומות מדי זו לזו או לשבור אלמנטים שהפרומפט ביקש.

בנוסף, המודל תלוי לחלוטין במילת ההפעלה Ultra realistic. אם לא תוסיפו אותה לפרומפט, ההשפעה של המשקולות תהיה חלקית מאוד, כך שנדרשת התאמה ידנית של הוראות היצירה במוצר שלכם.

שאלות
נפוצות

האם אפשר להריץ את הקובץ הזה לבד בלי מודל בסיס?

לא. מדובר במשקולות מסוג LoRA שמשקלן כ־605 מגה בייט בלבד. הן מכילות רק את שכבות השינוי וחייבות להיטען ישירות על גבי מודל בסיס תואם כמו FLUX.1-dev כדי לייצר תמונה.

איך גורמים למודל להשפיע על התוצאה בפועל?

הכרטיס מגדיר שיש להשתמש במילת ההפעלה Ultra realistic בתוך הפרומפט שאתם שולחים. ללא המילים האלו, שכבות ה־LoRA לא ייכנסו לפעולה מלאה והסגנון הצילומי לא יבוא לידי ביטוי.

האם יש גרסאות נוספות שכדאי לבדוק?

כן, בעמוד המודל מצוינים קישורים לגרסאות חלופיות מאותו יוצר, כמו Ton618 Epic Realism וגרסה ייעודית לפנים בשם FaceRealism, לצד הפניה לדגם בשם Flux-Super-Realism-LoRA.

איך מריצים

טעינת המשקולות מתבצעת ישירות לתוך DiffusionPipeline בעזרת פקודת load_lora_weights מעל מודל הבסיס, תוך שימוש ב־bfloat16 ובכרטיס מסך תומך CUDA. הקובץ עצמו קל משקל ויורד מהר, אך כדי להריץ את התהליך כולו צריך חומרה שמסוגלת להחזיק את מודל הבסיס של Flux, מה שדורש בפועל מאיץ גרפי חזק עם זיכרון וידאו משמעותי.

אם אין לכם שרת ייעודי עם חומרה מתאימה להרצת מודלי Flux הכבדים, העלות של החזקת שרת כזה בענן בשביל כמה תמונות בודדות אינה משתלמת. במקרים כאלה עדיף לבדוק פתרונות הדגמה קיימים, כמו ה־DLC שהיוצר העלה ל־Hugging Face Spaces.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("prithivMLmods/Canopus-LoRA-Flux-UltraRealism-2.0")
img = pipe("a photo").images[0]

הקבצים

9 קבצים במאגר, 605 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא creativeml-openrail-m. רישיון זה מאפשר בדרך כלל שימוש מסחרי ומחקר פתוח, אך כולל נספח שימושים אסורים שמגביל שימוש לרעה, פגיעה באנשים או הפצת מידע מטעה. מי שמשלב את המשקולות במוצר מחויב לוודא שהשימוש עומד בהגבלות אלו, ולהעביר את תנאי הרישיון הלאה למשתמשי הקצה.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗