mindseye-lite

מה זה

כותבים תיאור טקסטואלי באנגלית ומקבלים תמונות שנוצרות ישירות ממנו. ברירת המחדל מציגה רובוט ענק בריו דה ז'ניירו בסגנון צבעי שמן, עם הצעה להוסיף סגנונות כמו ציור של פיקאסו.

מאחורי הקלעים הקוד טוען ארבעה מודלים שונים דרך ממשקים נפרדים של אותו יוצר: Latent Diffusion, שמתמקד בטקסט פתוח, VQGAN עם CLIP שמאפשר בחירת סגנונות כמו היפר פסט וטעמים גרפיים שונים, Guided Diffusion בגרסת v-diffusion, ומודל בשם rudalle.

כל מודל יושב בלשונית נפרדת ומציע הגדרות משלו לגודל התמונה, מספר הצעדים ורמת ההצמדות לטקסט.

מתאים ל

• השוואת מודלים היסטוריים

  בדיקת אותו פרומפט על מודלים שונים כמו VQGAN ו־Latent Diffusion כדי להבין את ההבדלים בסגנון.

• יצירת אמנות בסגנון מוקדם

  הפקת תמונות קטנות במראה הדיגיטלי המופשט והגולמי שאפיין את תחילת עידן ה־AI ב־2022.

• בדיקת ארכיטקטורת ממשק

  למידה כיצד לחבר מספר מודלים חיצוניים שונים לתוך ממשק אחד מבוסס ספריית גרדיו.

איפה זה נופל

הבעיה המרכזית היא שהדף במצב תקלה ולא עובד כרגע בדפדפן. מעבר לתקלה, המודלים מוגבלים לרזולוציות נמוכות מאוד של עד 256 על 256 פיקסלים ברוב המקרים, או 512 בודדים ב־VQGAN. מדובר במודלים מוקדמים מ־2022 שמתקשים ביצירת פרטים מורכבים ולא מתקרבים לאיכות של מחוללים מודרניים.

איך משתמשים

בוחרים לשונית של המודל הרצוי, מקלידים הנחיה, משנים ערכים כמו מספר צעדים או כמות תמונות ולוחצים על כפתור יצירת התמונה. נכון לעכשיו אי אפשר להריץ דבר, כי המערכת מדווחת על שגיאת ריצה והקוד תקוע. מעבר לכך, היא מוגדרת על מעבד בסיסי בלבד, כך שגם כשהיא פעילה יצירת תמונות במודלים כאלה נמשכת זמן רב ללא כרטיס גרפי.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה ושינוי לכל מטרה. לגבי התמונות שנוצרות, הרישיון לא מפרט תנאי בעלות והן נשענות על תנאי השימוש של המודלים המקוריים שנטענים ברקע.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗