LoRA-DreamBooth-Training-UI
רץ בדפדפןlora-librarymit2023-01-20
ממשק פשוט לאימון ובדיקה של מודלי LoRA על בסיס DreamBooth ישירות מהדפדפן. מתאים למי שרוצה להתאים אישית את סטייבל דיפיוז'ן לתמונות ספציפיות בלי לכתוב שורת קוד.
- —הורדות בחודש
- 311לייקים
מה זה
הממשק מחולק לשלוש לשוניות עיקריות של אימון, בדיקה והעלאה. בלשונית האימון מעלים תמונות של אובייקט מסוים כדי ללמד את המודל לזהות אותו, ובלשונית הבדיקה אפשר להריץ הנחיות טקסט ולקבל תמונות חדשות שמבוססות על מה שהתקבל. מתחת למכסה המנוע מוגדר מודל הבסיס של stabilityai/stable-diffusion-2-1-base יחד עם דוגמאות מוכנות מראש כמו lora-library/lora-dreambooth-sample-dog ודוגמת הכלב של פטריק פון פלאטן.
הטכניקה כאן היא שילוב של DreamBooth עם LoRA, מה שמאפשר אימון ממוקד של שכבות קטנות במקום לשנות את כל משקלי המודל הענק. במקום להוריד סקריפטים מורכבים ולהגדיר סביבות עבודה של פייתון, הכל מוצג בתפריטים גרפיים של Gradio שמיועדים לחבר בין שלב הלמידה לשלב יצירת התמונה והעלאת התוצאות.
מתאים ל
- התאמת מודל לאובייקט אישי
מעלים סדרת תמונות ומאמנים שכבת LoRA שתדע לייצר את האובייקט לפי טקסט.
- בדיקת משקלים קיימים
טוענים את דוגמת הכלב המוכנה מראש כדי לראות איך שילוב הטכנולוגיות עובד.
- העלאת משקלים עצמאיים
משתמשים בלשונית ההעלאה כדי לשמור קובצי משקלים שהוכנו מראש במקום אחר.
איפה זה נופל
החומרה הבסיסית של מעבד רגיל היא נקודת התורפה הראשית, כי אימון מודלי דיפוזיה דורש בדרך כלל משאבי עיבוד גרפי כבדים. קשה לצפות לתוצאות מהירות בלי לשדרג את המשאבים או להעביר את העבודה למחשב אחר. מעבר לזה, המודל מתבסס על סטייבל דיפיוז'ן 2.1 הוותיק יחסית מראשית 2023, ולא על גרסאות מתקדמות יותר, והממשק לא מציע שליטה עמוקה בכל הפרמטרים הטכניים של הלמידה.
שאלות
נפוצות
האם זה חינם?
כן, הממשק פתוח לגישה חופשית ואין שום דרישת תשלום על השימוש בו. עם זאת, הוא רץ על חומרת מעבד בסיסית ומוגבלת, כך שאימון רציני עלול להצריך שכפול של המרחב לסביבה בתשלום.
מה קורה עם הקבצים שלי?
הקבצים שמועלים מעובדים בתוך השרת שמריץ את הדמו. אם מזינים פרטים בלשונית ההעלאה, המשקלים והתוצרים עשויים להישמר ולהיות זמינים ברשת, ולכן לא כדאי להעלות תמונות פרטיות או רגישות.
כמה זמן לוקח האימון?
בגלל שהסביבה רצה על מעבד רגיל ללא כרטיס מסך ייעודי, תהליך כזה יכול להימשך שעות ארוכות מאוד. עבור ניסוי מהיר עדיף לבדוק רק את לשונית הבדיקה עם המודל שנטען מראש.
האם אפשר להריץ את זה מקומית?
בהחלט, הקוד זמין תחת רישיון פתוח ואפשר להוריד אותו למחשב האישי. אם יש ברשותכם כרטיס מסך חזק של נווידיה, ההרצה המקומית תהיה מהירה בהרבה מזו שבדפדפן.
איך משתמשים
נכנסים לממשק ובוחרים בלשונית הרצויה. אם רוצים לבדוק, מזינים הנחיית טקסט מול המשקלים המוכנים ומחכים לפלט. אם רוצים לאמן, מזינים את התמונות וההגדרות ולוחצים על כפתור ההרצה. החומרה המוגדרת היא cpu-basic בלבד. זה אומר שאימון מלא או אפילו יצירת תמונות מורכבות בעזרת המעבד הזה יזחלו לאט מאוד ביחס לכרטיסי מסך חזקים, וצריך לקחת בחשבון זמני המתנה ארוכים במיוחד.
הרישיון
הפרויקט מפורסם ברישיון MIT חופשי ופתוח. אפשר להשתמש בקוד, להעתיק אותו, לשנות אותו ואפילו להטמיע אותו במוצרים מסחריים בלי הגבלה מיוחדת, כל עוד שומרים על הודעת הרישיון המקורית. המגבלות היחידות על התמונות והתוכן שנוצר תלויות בתנאי השימוש של מודל הבסיס.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש