GPT
F

FLUX.1-schnell-training-adapter

קוד פתוח

ostrisapache-2.02024-08-17

  • diffusers

מתאם קטן שפותר את בעיית האימון הישיר על מודל התמונות המהיר של פלוקס. בלעדיו אי אפשר לאמן עליו משקולות בלי לשבור את הדחיסה של המודל המקורי.

  • 430 MBמשקל הקבצים
  • 20,483הורדות בחודש
  • 92לייקים

מה זה

הקבצים האלה הם לא מודל שמייצר תמונות בפני עצמו, ואי אפשר להשתמש בהם ישירות ליצירה. מדובר במתאם עזר לתהליך האימון של לורות ישירות על גרסת שנל. הגרסה הזו מבוססת על זיקוק צעדים כדי לייצר תמונה בארבעה צעדים בלבד, אבל התהליך הזה הופך כל ניסיון לאמן אותה ישירות להרסני, כי כל צעד אימון פוגע בדחיסה של המודל ומקלקל את התוצאות.

המתאם הזה מופעל רק בזמן שלולאת האימון רצה, ומנוטרל לחלוטין כשמייצרים תמונות בדיקה. המטרה העיקרית שלו היא לחסוך אימון עקיף על גרסת דב, שסובלת ממגבלות רישיון ולא תמיד עובדת טוב כשמנסים להעביר את המשקולות לשנל. ברגע שסיימתם לאמן את הלורה שלכם, זורקים את המתאם הזה לפח והוא כבר לא נחוץ להרצה.

מתאים ל

  • אימון משקולות מסחריות

    מאפשר לאמן לורות ישירות על שנל ולקבל תוצר מסחרי מלא בלי המגבלות של גרסת דב.

  • בדיקת דגימות מהירה

    מאפשר לראות תמונות ביניים תוך ארבעה צעדים בלבד במקום לחכות לעשרות צעדים בכל בדיקה.

  • התאמת לורה לשנל

    מבטיח שהתוצאה הסופית תעבוד חלק על מודל היעד בלי עיוותים שנובעים מאימון על מודל שונה.

איפה זה נופל

המתאם הזה חסר תועלת לחלוטין אם אתם רק רוצים להריץ מודל קיים ולקבל תמונה, כי הוא לא עושה שום דבר לבד. בנוסף, הוא כבול לסביבות אימון שמכירות אותו ויודעות להדליק ולכבות אותו בזמן הנכון בין שלב האימון לשלב הדגימה. אם סביבת העבודה שלכם לא תומכת במנגנון הזה מראש, תצטרכו להטמיע את הלוגיקה הזו בעצמכם בקוד האימון.

שאלות
נפוצות

אני צריך לשמור את הקבצים האלה לצד הלורה שלי כשאני מפיץ אותה?

לא. המתאם מיועד רק לשלב שבו מעדכנים את המשקולות מול הדאטהסט שלכם. ברגע שהקובץ של הלורה נוצר ונשמר, הוא עובד באופן עצמאי מול מודל הבסיס ואין שום צורך במתאם הזה יותר.

האם אפשר להשתמש בו ישירות בספריית דיפיוזרס בלי כלים חיצוניים?

הקבצים אמנם מותאמים למבנה של הספרייה, אבל נדרשת לוגיקה שמפעילה את המתאם רק בשלב האימון ומכבה אותו בזמן יצירת תמונה. אם אתם כותבים סקריפט אימון משלכם תצטרכו לממש את הניתוב הזה ידנית, אחרת עדיף להשתמש בסביבה מוכנה כמו ai toolkit.

איך מריצים

כדי להשתמש בו חייבים כלי אימון שתומך בו במפורש, והוא תוכנן במקור עבור הכלי של היוצר שנקרא ai toolkit, אף שייתכן שכלים נוספים יתמכו בו בעתיד. המשקל של המתאם זניח, בסך הכול 430 מגה בייט בשלושה קבצים תחת ספריית diffusers, אבל דרישות החומרה האמיתיות ייקבעו לפי מה שדורש מודל הבסיס של פלוקס עצמו בזמן אימון.

במהלך העבודה מפעילים אותו רק בזמן עדכון המשקולות, ובזמן דגימת ביניים מכבים אותו. היתרון הגדול בזמן הפיתוח הוא שבמקום לחכות עשרים או שלושים צעדים לכל תמונת בדיקה כדי לראות התקדמות, אפשר לייצר דגימות בארבעה צעדים בלבד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("ostris/FLUX.1-schnell-training-adapter")
img = pipe("a photo").images[0]

הקבצים

3 קבצים במאגר, 430 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המתאם מופץ תחת רישיון אפאצ'י 2.0 שמאפשר שימוש מסחרי חופשי, שינוי והפצה. היתרון הגדול הוא שגם מודל שנל עצמו ברישיון זהה, כך שכל תוצר שתאמנו איתו שייך לכם לחלוטין, בניגוד לאימון על גרסת דב שכובלת אתכם לתנאים לא מסחריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗