FLUX.1-dev-Controlnet-Canny
קוד פתוחInstantXother2024-08-08
המתאם הזה מוסיף בקרת קווי מתאר למודל הבסיס של פלוקס, כך שאפשר לייצר תמונות שנצמדות לקומפוזיציה מדויקת. הוא מתאים למי שחייב לשלוט במבנה המדויק ולא רק להסתמך על טקסט.
- 1.8Bפרמטרים
- 3.3 GBמשקל הקבצים
- 2,509הורדות בחודש
- 196לייקים
מה זה
מדובר במודל בקרה מסוג קאני שיושב מעל מודל הבסיס ומכוון את הציור לפי מפת קצוות. הוא אומן ברזולוציה של 1024 על 1024 פיקסלים במגוון גדלים, לאורך 30 אלף צעדים עם גודל אצווה של 8 על 8. התפקיד שלו הוא לקחת תמונת קווים ולדאוג שהתוצאה הסופית תשמור על אותן צורות וזוויות בדיוק.
במקום לקוות שהפרומפט ימקם אובייקט במקום הנכון, אתם מזינים קווי מתאר שמכתיבים את התנוחה, הדמויות והעצמים. הוא מתחבר ישירות לספריית דיפיוזרס ומשתלב בתהליך היצירה הרגיל, כך שלא צריך לשנות את כל התשתית כדי לקבל שליטה מבנית.
מתאים ל
- שמירה על תנוחות מדויקות
יצירת דמויות שנשארות בדיוק באותה תנוחה מוגדרת לפי שרטוט קווי מתאר.
- העברת סקיצות לרינדור
הפיכת איורי קו וסקיצות אדריכליות לתמונות עשירות ומפורטות לפי הנחיות טקסט.
- עריכת קומפוזיציה בצילום
החלפת אובייקטים ורקעים בתמונה קיימת תוך שמירה מוחלטת על קווי הגבול של העצמים.
איפה זה נופל
היוצרים מצהירים בפירוש שזו גרסה ראשונה של האימון. אין כאן מודל משויף שעבר איטרציות רבות, אלא אימון בסיסי יחסית של 30 אלף צעדים בלבד. בנוסף, רגישות המשקל של הבקרה דורשת כיוונון עדין ידני, ובדוגמת הקוד הם עצמם מורידים את עוצמת ההשפעה לערך של 0.6 כדי למנוע עיוותים בתמונה הסופית.
שאלות
נפוצות
האם המודל הזה עובד לבד בלי מודל נוסף?
לא. זהו מתאם בקרה בלבד, והוא חייב לרוץ במקביל למודל הבסיס כדי לייצר תמונה.
כמה זיכרון וידאו צריך בשביל להריץ אותו?
בגלל שהמודל הזה שוקל 3.3 גיגה בייט ומצטרף למודל בסיס כבד, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון כדי לעבוד בביצועים סבירים.
איך מריצים
כדי להריץ אותו צריך כרטיס מסך עם זיכרון גדול מספיק להחזיק גם את מודל הבסיס וגם את משקלי הבקרה, ששוקלים כמעט שלושה וחצי גיגה בייט. הקוד דורש שימוש בדיפיוזרס בגרסה עדכנית ובפורמט bfloat16, אחרת תיתקלו בשגיאות תאימות או קריסות זיכרון.
אם אין לכם חומרת שרת ייעודית עם כרטיס גרפי חזק, הרצה מקומית של שניהם יחד תהיה איטית או תזלול את כל משאבי המערכת. במקרים של בדיקות מהירות או שילוב פשוט, פנייה לתשתית ענן מנוהלת תחסוך את כאב הראש של הקצאת הזיכרון.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 3.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כאחר. זה אומר שאין כאן רישיון קוד פתוח סטנדרטי ואי אפשר להניח שמותר להשתמש בו במוצר מסחרי. לפני שמטמיעים אותו במערכת פעילה, חייבים לבדוק את תנאי השימוש של היוצרים ושל מודל הבסיס כדי לא להסתבך משפטית.