FLUX.1-controlnet-lineart-promeai
קוד פתוחpromeaiרישיון לא דווח2024-09-19
יש כאן גם סקירה על PromeAI עצמו.
המתאם הזה מוסיף שליטה מבוססת ציור קווי למודל התמונות פלוקס דב. אם יש לכם סקיצה ואתם רוצים שהתמונה הסופית תישען עליה במדויק, זו הסיבה להוריד אותו.
- 1.4Bפרמטרים
- 5.4 GBמשקל הקבצים
- 2,057הורדות בחודש
- 46לייקים
מה זה
מדובר במודל בקרה מסוג קונטרולנט שאומן ספציפית על גבי פלוקס דב, במטרה לקבל קווי מתאר ולהנחות את יצירת התמונה לפיהם. הוא כולל כמעט מיליארד וחצי פרמטרים שיושבים לצד מודל הבסיס הגדול, ומאפשר לתרגם רישומי קו ישירות לפריימים מורכבים עם טקסטורות ותאורה מלאה.
האימון נעשה על כרטיס בודד במשך 14,000 צעדים, תוך מעבר מרזולוציה בסיסית של 512 פיקסלים לעבודה ב־1024 פיקסלים על תמונות אמיתיות ממאגר פרטי. המשמעות היא שההתנהגות שלו מותאמת ישירות לקווים מפורטים ברזולוציה גבוהה, בלי צורך בניחושים של מודל הבסיס לגבי הקומפוזיציה.
מתאים ל
- צביעת סקיצות ידניות
הופך איורי קו נקיים לתמונות גמורות על בסיס הנחיות טקסט, תוך שמירה על המבנה המקורי.
- שליטה בקומפוזיציה באנימה
נעזר בקונספט של ציור קווי מדויק כדי לייצר דמויות אנימה עם פרטי לבוש ומבנה מוגדרים מראש.
- בניית הדמיות לפי קווי מתאר
מאפשר לקחת שרטוט בסיסי של חלל ולהלביש עליו חומרים ותאורה בלי לאבד את הפרופורציות.
איפה זה נופל
היוצרים מבהירים במפורש שההיענות להוראות הטקסט תלויה מאוד בסגנון הכתיבה של הפרומפט, ויש מקרים שבהם הפלט פשוט יתעלם מהטקסט ויסטה ממנו. בנוסף, כמו כל מודל סטטיסטי מהסוג הזה, הוא עשוי לשקף הטיות חברתיות ואינו מיועד לייצר עובדות מציאותיות. חייבים לבדוק ידנית איך הוא מגיב לאיכות הקווים שלכם לפני שמנסים להפוך אותו לתהליך אוטומטי במוצר.
שאלות
נפוצות
האם המודל הזה יכול לייצר תמונה לבד בלי מודלים נוספים?
לא. זהו מודל עזר שמתלבש על פלוקס דב ומספק לו התניה של קווי מתאר, כך שחובה להחזיק ולהריץ את מודל הבסיס במקביל.
איך אפשר לשלב אותו בעבודה בלי לתכנת?
המאגר כולל קובץ הגדרות מוכן לשימוש בתוך קומפי יו איי. אפשר לטעון את התהליך ישירות לשם ולחבר את הסקיצות שלכם לממשק בלי לכתוב סקריפטים.
איך מריצים
המשקל של הקבצים עומד על 5.4 גיגה בייט בפורמט דיפיוזרס, אבל כדי להשתמש בו צריך לטעון גם את מודל הבסיס פלוקס דב. שילוב כזה מחייב מעבד גרפי חזק מאוד עם כמות זיכרון נדיבה, וגם באימון עצמו דווח על שימוש של כ־70 גיגה בייט זיכרון וידאו.
בפועל אפשר לשלב אותו בקוד פייתון רגיל או להריץ אותו דרך סביבת קומפי יו איי באמצעות תהליך עבודה שמצורף למאגר. למי שאין כרטיס מסך ברמה הזו בתחנת העבודה, החזקה מקומית תהיה יקרה וכבדה, ועדיף להסתמך על תשתית ענן ייעודית.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("promeai/FLUX.1-controlnet-lineart-promeai")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 5.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצרים לא ציינו רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מפורשת להשתמש בו, להפיץ אותו או לבנות עליו מוצר מסחרי, וכל שילוב שלו במערכת ייצור כרוך בסיכון משפטי ברור עד שהמפתחים יפרסמו תנאים מסודרים.