Low-rank-Adaptation

מה זה

אתם מעלים קבוצת תמונות של אובייקט או סגנון, מגדירים פרומפט תואם, ומקבלים קובץ משקולות מאומן לצד אפשרות לייצר תמונה ישירות מהממשק. הכלי מתבסס על stabilityai/stable-diffusion-2-1-base ומשתמש בטכניקת LoRA יחד עם dreambooth כדי לבצע התאמה מהירה למודל, הן לחלק של ה־UNet והן ל־Text Encoder ברזולוציה של 512 על 512.

הממשק כולל הגדרות מתקדמות לכוונון כמות צעדי האימון, ברירת המחדל עומדת על 2000 צעדים, וסליידרים לשינוי רמת ה־Alpha בין 0.1 ל־1.0 עבור ה־UNet ומקודד הטקסט. שינוי הערכים האלה קובע כמה חזק המודל ייצמד לדוגמאות שהעליתם לעומת יצירת תמונה חופשית יותר.

מתאים ל

• אימון LoRA לתמונות

  מעלים מספר תמונות של נושא מסוים כדי להתאים אישית את מודל הבסיס.

• ייצור תמונות מותאמות

  מזינים פרומפט חדש ומייצרים תמונה על בסיס המשקולות שנלמדו באימון.

• הורדת קובצי משקולות

  מורידים את קובצי המשקולות שנוצרו כדי להשתמש בהם במערכות אחרות.

איפה זה נופל

הבעיה המרכזית היא שהעמוד נמצא במצב CONFIG_ERROR והחומרה היא מעבד בסיסי, בזמן שהקוד דורש גישה לכרטיס מסך לצורך טעינת הצינור ואימון המודל. גם אם הממשק היה זמין, אימון של אלפי צעדים ברזולוציה של 512 על מעבד רגיל אינו מעשי. כדי להריץ את התהליך בפועל צריך לשכפל את הקוד לחשבון אישי ולהצמיד לו חומרת כרטיס מסך.

איך משתמשים

לוחצים על העלאת הקבצים, בוחרים מספר תמונות, כותבים תיאור טקסטואלי ולוחצים על כפתור האימון. לאחר סיום הריצה מזינים פרומפט ולוחצים על יצירת תמונה. הקוד מנסה להריץ תהליכים מבוססי כרטיס מסך ופקודת accelerate launch, אך החומרה שמוגדרת כרגע היא מעבד בסיסי בלבד. המצב הנוכחי של העמוד מסומן כשגיאת הגדרות, כך שנכון לעכשיו לא ניתן לבצע אימון תקין דרך הדפדפן.

הרישיון

הפרויקט מופץ תחת רישיון mit. הרישיון מאפשר שימוש חופשי בקוד, כולל שינוי, הפצה ומסחור, אך יש לקחת בחשבון את מגבלות הרישיון של מודל הבסיס עצמו לגבי התוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗