Flux.1-dev-Controlnet-Upscaler
קוד פתוחjasperaiother2024-09-23
המודל הזה לוקח תמונות ברזולוציה נמוכה ומשחזר אותן בעזרת בקרת תמונה. הוא מתאים למי שרוצה לשדרג איכות תמונה ישירות על תשתית פלוקס הקיימת שלו.
- 1.8Bפרמטרים
- 3.3 GBמשקל הקבצים
- 2,900הורדות בחודש
- 877לייקים
מה זה
מדובר במודל קונטרול-נט שמיועד למשימות תמונה לתמונה, ופותח על ידי צוות המחקר של ג'ספר עבור מודל הבסיס פלוקס 1 דב. המטרה העיקרית שלו היא לקבל קלט באיכות ירודה ולבנות ממנו פלט חד ומפורט יותר, תוך שמירה על המבנה המקורי.
באימון שלו השתמשו בשיטה שמייצרת פגמים סינתטיים מורכבים על תמונות אמיתיות, בדומה לגישה של ריל-אסרגאן. הם שילבו רעשי גאוס ופואסון, טשטוש ודחיסת קובצי ג'ייפג, כך שהמודל אמור להתמודד עם לכלוך אמיתי של תמונות דחוסות או מטושטשות מהרשת ולא רק עם הגדלה פשוטה של פיקסלים.
מתאים ל
- שחזור תמונות דחוסות
הוא אומן להתמודד ישירות עם עיוותי ג'ייפג ורעשים, ולכן הוא מתאים לניקוי תמונות שעברו כיווץ אגרסיבי ברשת.
- הגדלת תמונות מטושטשות
האלגוריתם מתמחה בטיפול בטשטוש כחלק מתהליך השחזור, ומאפשר להחזיר חדות לתמונות באיכות ירודה.
- שדרוג רזולוציה בפלוקס
למי שכבר מריץ פלוקס 1 דב ורוצה להוסיף שכבת הגדלה ישירות לצינור העבודה בלי להחליף מנוע.
איפה זה נופל
הכרטיס מציג רק אימון על שילוב של רעש מלאכותי, טשטוש וכיווץ. המפתחים לא פרסמו מדדי איכות רשמיים, מבחני השוואה או נתונים על שחזור טקסטים ופרצופים זעירים, כך שתצטרכו לבדוק בעצמכם אם הוא ממציא פרטים במקומות לא רצויים לפני שאתם סומכים עליו במוצר.
שאלות
נפוצות
האם אפשר להריץ את המודל הזה לבד בלי פלוקס?
לא. זהו מודל קונטרול-נט של 1.8 מיליארד פרמטרים שמתלבש על מודל הבסיס פלוקס 1 דב. אתם חייבים לטעון את שניהם יחד בספריית דיפיוזרס כדי לעבד תמונה.
האם המודל מותר לשימוש מסחרי באפליקציה שלי?
הרישיון שלו נשען ישירות על הרישיון של פלוקס 1 דב, שמגביל שימוש מסחרי ישיר. חובה לקרוא את התנאים של מודל המקור לפני שמשלבים אותו במוצר שמייצר הכנסות.
איך מריצים
המשקולות של המודל תופסות 3.3 גיגה-בייט, אבל אל תתבלבלו, מדובר רק בחלק של הקונטרול-נט. כדי להריץ אותו בפועל אתם חייבים לטעון גם את מודל הבסיס פלוקס 1 דב דרך ספריית דיפיוזרס, מה שמקפיץ את דרישות החומרה לכרטיס מסך כבד מאוד עם זיכרון וידאו משמעותי.
אם אין לכם חומרה ייעודית עם מספיק זיכרון להחזיק את שני המודלים במקביל, כנראה שעדיף לשלם לפי קריאה לשרת ענן חיצוני או שירות מנוהל במקום לנסות לדחוף את זה למחשב מקומי.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("jasperai/Flux.1-dev-Controlnet-Upscaler")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 3.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כאחר וכפוף ישירות לתנאי השימוש של פלוקס 1 דב. זה אומר שאי אפשר לקחת אותו לשימוש מסחרי חופשי בלי לעמוד בהגבלות של יוצרי מודל הבסיס, ומי שמתכנן להכניס אותו למוצר מסחרי צריך לבדוק קודם את תנאי הרישיון המקוריים.