stable-diffusion-nano

מה זה

מקלידים תיאור טקסטואלי של התמונה שרוצים לקבל, ובוחרים שני פרמטרים מספריים. הראשון הוא מספר צעדי החישוב, והשני הוא מספר סיד לקביעת האקראיות של התוצאה. הממשק מכיל גם דוגמאות מוכנות שנלקחו מההדגמה המקורית של סטייבל דיפיוז'ן, כדי שאפשר יהיה ללחוץ ולראות תוצאה בלי להמציא תיאור מאפס.

מאחורי הקלעים רץ המודל bguisard/stable-diffusion-nano-2-1, שנבנה כגרסה קלה יותר של המודל הרגיל. הקוד מבוסס על ספריית diffusers במימוש Flax ו־JAX, שנועד לרוץ ביעילות עם מתזמן מסוג FlaxPNDMScheduler. התוצאה הסופית שמוחזרת למסך היא קובץ תמונה שנוצר ישירות מהטקסט שהכנסתם.

מתאים ל

• בדיקת גרסאות מוקטנות

  השוואת התנהגות של מודל קל משקל מול מודלים מלאים לפי תיאורי טקסט זהים.

• הפקת תמונות מהירה

  ניסיון לייצר תמונות בסיסיות בפחות משאבי חישוב כשהמערכת חוזרת לפעול.

• לימוד מימוש JAX

  בחינת קוד שמריץ פייפליין של diffusers עם Flax על גבי מעבד גרפי.

איפה זה נופל

ההדגמה הזו שבורה כרגע בגלל שגיאת ריצה, ולכן אי אפשר להפיק ממנה שום דבר ישירות בדפדפן. בנוסף, המודל שרץ כאן הוא גרסת נאנו מצומצמת, מה שאומר שאיכות התמונות והדיוק בפרטים נמוכים משמעותית מהמודלים המלאים של סטייבל דיפיוז'ן. הדוגמאות שנלקחו מההדגמה הרשמית של המודל המקורי עלולות להטעות לגבי היכולת האמיתית של המודל המוקטן הזה.

איך משתמשים

בפועל, כותבים תיאור בתיבת הטקסט, מכוונים את הסליידר של מספר הצעדים וקובעים סיד אם רוצים לשחזר תוצאה מדויקת, ואז לוחצים על כפתור ההרצה כדי לקבל תמונה. הממשק מוגדר לרוץ על מעבד גרפי t4-small, שאמור לספק זמני תגובה סבירים בלי להמתין דקות ארוכות, ולא דורש התחברות עם משתמש.

הבעיה המרכזית כרגע היא שההדגמה מדווחת על שגיאת זמן ריצה בעמוד שלה. זה אומר שגם אם תמלאו את השדות ותלחצו על הכפתור, הממשק פשוט קורס ולא יחזיר תמונה עד שמי שמתחזק אותו יתקן את התקלה.

הרישיון

הפרויקט פועל תחת רישיון creativeml-openrail-m. הרישיון הזה מתיר שימוש חופשי ומסחרי בתמונות שנוצרות, אבל אוסר על הפקת תוכן פוגעני, אלים או כזה שמפר חוק. אין כאן מנגנון שמירת קבצים שמעלים, מאחר שמזינים רק טקסט.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗