latentdiffusion

מה זה

כותבים תיאור טקסטואלי באנגלית ומקבלים תמונות שנוצרות ישירות לפי הבקשה. הממשק מציג רשת תמונות אחת וגם גלריה של התמונות הנפרדות. בדוגמה שבממשק מציעים לכתוב הנחיות בסגנון ציור גיר של כלב עם כובע מצחיק, וממליצים להוסיף סגנונות כמו ציור שמן או עטיפת ספר כדי להכווין את התוצאה.

מאחורי הקלעים רץ המודל Latent Diffusion של CompVis שאומן על מאגר LAION-400M, יחד עם bert-base-uncased של גוגל לעיבוד הטקסט. הקוד מוריד משקולות של קובץ בשם txt2img-f8-large ומשתמש בסמפלרים מסוג DDIM או PLMS בשילוב VQGAN כדי לחלץ את התמונה מהמרחב הלטנטי. מדובר בדור שקדם לכלים הנפוצים כיום, ולכן התוצאות משקפות את היכולות של תחילת 2022.

מתאים ל

• בדיקת היסטוריית מודלים

  השוואת איכות התמונות של מודל מ־2022 מול מודלים עדכניים.

• יצירת סקיצות קטנות

  בדיקת רעיונות ויזואליים בסיסיים ברזולוציה נמוכה ומהירה.

• ניסוי בסמפלרים

  בחינת השפעת מספר הצעדים וסולם הגיוון על התוצאה.

איפה זה נופל

הרזולוציה המקסימלית מוגבלת ל־256 על 256 פיקסלים בלבד, שזה גודל זעיר ולא שמיש לצרכים גרפיים מודרניים. המודל מסתמך על BERT ישן באנגלית, כך שטקסט בעברית כנראה יניב תוצאות שגויות או לא קשורות בכלל. חוץ מזה, אפשר לייצר עד ארבע תמונות בכל הרצה, ואי אפשר להזין תמונת מקור לשינוי אלא רק טקסט חדש.

איך משתמשים

מקלידים תיאור בשדה הטקסט, בוחרים מספר צעדים בין 1 ל־50, וקובעים רוחב וגובה מתוך ארבע אפשרויות קבועות. בנוסף אפשר לבחור לייצר בין תמונה אחת לארבע במקביל, ולכוון את סולם הגיוון בין 1 ל־15. לוחצים על כפתור השליחה והתהליך מתחיל.

הקוד משתמש במודול spaces על חומרת zero-a10g של אנבידיה, שמקצה כרטיס מסך בזמן הריצה ומציגה מד התקדמות מובנה. אין צורך בהתחברות או בהרשמה כדי להתחיל לעבוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד כולל שינוי והפצה. התוכן שנוצר נשלח ישירות לדפדפן שלכם ללא תנאי שימוש נוספים שצוינו בממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗