paella

מה זה

מקלידים תיאור טקסטואלי של התמונה שרוצים לקבל, ואפשר להוסיף הנחיה שלילית כדי להרחיק אלמנטים לא רצויים. הממשק פולט גלריה של תמונות שנוצרו ישירות מהטקסט שלכם. מתחת למכסה המנוע רץ המודל pcuenq/Paella, שעושה שימוש במרחב לטנטי מכווץ שמבוסס על f8 VQGAN, לצד טוקנייזר ומודל שפה מסוג ByT5-XL של גוגל לפענוח הטקסט.

המבנה הזה נשען על שיטת אימון מבוססת מיסוך שמטרתה לייצר תמונה בכעשרה צעדי הסקה בלבד, בלי התהליך האיטי והארוך שנפוץ במודלי דיפוזיה סטנדרטיים. בהגדרות המתקדמות אפשר לקבוע גם ערך סיד כדי לשחזר תוצאות מדויקות, אך הממשק אינו מציג דוגמאות מובנות מראש.

מתאים ל

• בדיקת ארכיטקטורת Paella

  הזנת פרומפטים כדי לראות איך מודל מבוסס VQGAN ומיסוך מייצר תמונות מעטות שלבים.

• ניסוי ביצירה עם סיד קבוע

  שינוי טקסט חיובי ושלילי תחת אותו ערך סיד כדי לבחון שינויים ספציפיים בפלט.

• בחינת יכולות ByT5 בטקסט

  בדיקה איך המקודד של גוגל מפרש תיאורים מילוליים מורכבים לפני יצירת התמונה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקול ולא רצה כרגע בדפדפן. מעבר לכך, היא מציגה גרסה בסיסית מאוד של מחולל תמונות ולא חושפת אפשרויות שליטה מתקדמות מעבר לקביעת סיד. מי שמצפה לביצועים המהירים שהחוקרים הבטיחו בכעשרה צעדים יתאכזב מהריצה על מעבד רגיל במקום כרטיס מסך ייעודי.

איך משתמשים

כותבים פרומפט בשדה הטקסט, מגדירים פרומפט שלילי אם רוצים, פותחים את ההגדרות המתקדמות לקביעת סיד ולוחצים על Generate image. בפועל, כרגע הדף מדווח על שגיאת ריצה ולכן אי אפשר להפיק תמונה. בנוסף, הוא מוגדר על חומרת מעבד בסיסית, כך שגם כשהקוד יעלה שוב, יצירת תמונות על מעבד תהיה אטית בהרבה ממה שהארכיטקטורה מאפשרת על מאיץ גרפי.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. לגבי התמונות שנוצרות או הטקסטים שמזינים, אין פירוט משפטי נוסף מעבר לתנאי השימוש הרגילים ברישיון ובשרתי הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗