Flux-Super-Realism-LoRA
קוד פתוחstrangerzonehfmit2024-11-12
מתאם קל משקל שמכוון את התמונות של מודל הבסיס לסגנון ריאליסטי מובהק. אם אתם מריצים מודל בסיס גדול ומקבלים מראה חלק או מלאכותי מדי, התוסף הזה מושך לכיוון טקסטורה מציאותית.
- 613 MBמשקל הקבצים
- 5,940הורדות בחודש
- 272לייקים
מה זה
מדובר במתאם מסוג LoRA שנועד לפעול מעל FLUX.1-dev ומתמקד בשיפור הריאליזם, בעיקר בתווי פנים ובפרטים קטנים. האימון שלו נשען על סט מצומצם מאוד של 55 תמונות ברזולוציה גבוהה שתויגו באנגלית באמצעות florence2-en, לאורך 20 תקופות אימון ו־4,380 צעדים בסך הכול. מבחינת ארכיטקטורה הוא רץ עם ממד רשת של 64 ואלפא של 32, מה שמסביר משקל קבצים צנוע של 613 מגה בייט.
המפתח משווה אותו ישירות למודל הבסיס ולגרסאות קודמות שלו כמו Canopus FaceRealism ו־UltraRealism 2.0, ומציג אותו כגרסה שמתמודדת טוב יותר עם מראה פנים וחדות. הבדיקות שמוצגות נעשו ב־28 צעדי יצירה, והרזולוציות המומלצות לעבודה הן 1024 על 1024 כברירת מחדל, או 768 על 1024.
מתאים ל
- יצירת פורטרטים ריאליסטיים
המודל כוון במיוחד לשיפור מראה עור ופנים ביחס למודל הבסיס, ברזולוציה מומלצת של 768 על 1024.
- עיבוד תמונות ריבועיות
הגדרות האימון מכוונות לברירת מחדל של 1024 על 1024, ומפיקות תוצאה חדה בעבודה ב־28 צעדים.
- חידוד טקסטורות בפרומפטים
שילוב ביטוי ההפעלה מונע את המראה הפלסטיקי שנוצר לעיתים במודל הבסיס ללא תוספות.
איפה זה נופל
המתאם הזה אומן על 55 תמונות בלבד. דאטה־סט כזה קטן עלול לייצר מראה שחוזר על עצמו או התאמת־יתר לסגנונות התמונות המקוריות, במיוחד כשדוחפים את המשקלים עד הסוף. בנוסף, כדי לקבל תוצאה שדומה להדגמות של היוצר צריך להזין בפרומפט את ביטוי ההפעלה Super Realism או להכליל מילים כמו realism ו־realistic, כך שהשליטה בתוצאה תלויה בניסוח מדויק מאוד של הבקשה.
שאלות
נפוצות
האם חייבים להשתמש במילת ההפעלה בכל פרומפט?
היוצר מציין שמילת ההפעלה Super Realism אינה חובה מוחלטת, אך בלעדיה כדאי לוודא שהמילים realistic או realism מופיעות בתיאור. שימוש בביטוי המדויק נדרש אם רוצים לקבל תוצאות שמתאימות במדויק לתמונות ההדגמה.
האם אפשר להריץ את המתאם על מחשב רגיל בלי כרטיס מסך חזק?
המתאם עצמו שוקל רק 613 מגה בייט, אבל הוא לא מתפקד כמודל עצמאי אלא מתלבש על FLUX.1-dev. מודל הבסיס דורש חומרת CUDA משמעותית, ולכן על מחשב חלש עדיף לפנות ל־API של חלל ההדגמה הקיים באמצעות gradio_client.
איך מריצים
טוענים את ספריית diffusers בפייתון, מעלים את מודל הבסיס FLUX.1-dev בפורמט bfloat16 על גבי כרטיס מסך מבוסס CUDA, ומלבישים עליו את משקלי ה־LoRA באמצעות הפקודה load_lora_weights. הקובץ עצמו קטן ולא דורש כמעט משאבים נפרדים, אבל מודל הבסיס דורש חומרה כבדה וכרטיס מסך ייעודי חזק כדי לייצר תמונה מקומית בזמן סביר.
אם אין לכם שרת עם מאיץ גרפי מתאים, אפשר לקרוא ישירות לדמו הקיים דרך gradio_client לעבודה מרחוק. הדמו מייצר תמונה תוך 30 שניות לפחות ומקבל פרמטרים של פרומפט, מידות ו־guidance scale בערך של 6.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("strangerzonehf/Flux-Super-Realism-LoRA")
img = pipe("a photo").images[0]הקבצים
9 קבצים במאגר, 613 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המתאם עצמו מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי קוד והפצה מסחרית ללא תשלום, כל עוד משאירים את הצהרת זכויות היוצרים. יחד עם זאת, המתאם לא עובד לבד אלא מול מודל הבסיס FLUX.1-dev, ולכן שימוש מסחרי בפועל תלוי לחלוטין בתנאי הרישיון של אותו מודל בסיס.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש