חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
L

LoRA-SD-training

רץ בדפדפן

hystsmit2022-12-11

  • gradio

הכלי מציע אימון משקולות LoRA עבור מודל תמונות ובדיקה שלהן ישירות בדפדפן. הוא מיועד למי שרוצה להתאים אישית יצירת תמונות בלי להגדיר סביבת פיתוח שלמה.

  • —הורדות בחודש
  • 49לייקים

מה זה

האפליקציה מחולקת לשלושה חלקים עיקריים שכוללים אימון, בדיקה והעלאה. בחלק של האימון אתם מעלים קובצי תמונות עבור מושג מסוים, מגדירים תיאור טקסטואלי וקובעים פרמטרים כמו מספר צעדי אימון, קצב למידה, שימוש ב־FP16 ו־8bit Adam, או אימון מקודד הטקסט ברזולוציה קבועה של 512.

הבסיס שמריץ את התהליך מאחורי הקלעים הוא stabilityai/stable-diffusion-2-1-base בטכניקת LoRA. בלשונית הבדיקה אפשר לבחור את קובצי המשקולות שנוצרו, להזין פרומפט, לקבוע פרמטרים כמו סולם CFG, מספר צעדים וערכי אלפא, ולקבל תמונה מוכנה. לשונית ההעלאה מאפשרת לשלוח את התוצאה ישירות באמצעות טוקן ייעודי.

מתאים ל

  • אימון LoRA לתמונות

    מעלים תמונות של אובייקט, מגדירים צעדי למידה ומקבלים קובץ משקולות מותאם.

  • בדיקת תוצאות מקומית

    טוענים את המשקולות שנוצרו ומייצרים תמונות ניסיון עם הגדרות אלפא שונות.

  • שמירה ישירה לענן

    מזינים טוקן ושם מודל כדי לשלוח את המשקולות המאומנות למאגר האישי.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה תקועה על BUILD_ERROR ולכן לא עובדת בדפדפן כלל. מעבר לזה, החומרה המוגדרת היא מעבד בסיסי בלבד, מה שהופך אימון מודל כזה לבלתי מעשי לחלוטין בלי GPU. הרזולוציה נעולה על 512, ואין בממשק תצוגה מקדימה מובנית או דוגמאות מוכנות מראש לבדיקה מהירה.

שאלות
נפוצות

האם האפליקציה פועלת כרגע בחינם בדפדפן?

לא, המרחב נמצא במצב של שגיאת בנייה ולא ניתן להריץ אותו כרגע אונליין. בנוסף הוא מוגדר על חומרת מעבד בסיסית בלבד. כדי להשתמש בו בפועל תצטרכו להעתיק את הקוד, לתקן אותו ולהריץ על מכונה עם כרטיס מסך.

כמה זמן לוקח תהליך האימון?

הזמן תלוי במספר הצעדים ובחומרה שמריצה את התהליך. על חומרת המעבד הבסיסית שמוגדרת במרחב זה לא מעשי ויכול לקחת שעות רבות או לקרוס. על מעבד גרפי ייעודי אימון כזה נמשך בדרך כלל דקות ספורות עד עשרות דקות.

האם אפשר להריץ את הקוד באופן מקומי?

כן, הקוד זמין תחת רישיון MIT ומשתמש בספריית gradio ובסקריפטים ייעודיים. אפשר לשכפל את הקבצים ולהפעיל אותם על מחשב אישי עם כרטיס מסך מתאים. תצטרכו להתקין את התלויות הנדרשות כדי לפתור את שגיאת הבנייה.

מה קורה לקבצים ולתמונות שמעלים?

התמונות משמשות לתהליך האימון בלבד בתוך סביבת הריצה. אם רוצים לשמור את המשקולות שנוצרו, הממשק דורש הזנת טוקן אישי של Hugging Face לצורך העלאה למאגר שלכם. כל עוד המרחב לא נבנה בהצלחה, שום קובץ שתעלו לא יעובד.

איך משתמשים

בפועל אתם עוברים ללשונית האימון, מעלים את התמונות, מגדירים את הערכים ולוחצים על כפתור תחילת האימון. יש כפתור נפרד לבדיקת סטטוס האימון וקבלת קובצי המשקולות. כדי להעלות את התוצאות צריך להזין טוקן של Hugging Face. כרגע המרחב נמצא במצב שגיאת בנייה ורץ על מעבד בסיסי, כך שאי אפשר להשתמש בו ישירות ברשת בלי לתקן את הקוד ולהעביר אותו למעבד גרפי מתאים.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי והפצה שלו. החומרים שאתם מעלים והמשקולות שנוצרות כפופים לרישוי ולמגבלות השימוש של מודל הבסיס Stable Diffusion 2.1.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗