multilingual-stable-diffusion

מה זה

אתם מקלידים תיאור טקסטואלי בכל שפה שנתמכת, והממשק מחזיר גלריית תמונות תואמת. מאחורי הקלעים אין כאן מודל תמונה שלמד שפות חדשות, אלא שרשרת של שלושה רכיבים נפרדים שמחוברים יחד בקוד.

קודם כל רץ מודל זיהוי שפה של xlm-roberta שמזהה מה כתבתם. משם הטקסט עובר למודל התרגום mbart-large-50 שמתרגם את המשפט לאנגלית, ורק אז התוצאה המוזנת נכנסת אל Stable Diffusion בגרסה 1.4 שמייצר את התמונה עצמה. הממשק מציג גם דוגמאות מובנות להרצה מהירה כדי לראות איך הצינור הזה עובד בפועל.

מתאים ל

• יצירת תמונות מפרומפט מתורגם

  כתיבת תיאור תמונה בשפה שאינה אנגלית ובדיקה כיצד תרגום מכונה משפיע על התוצאה.

• בחינת צינור מודלים משולב

  הבנת האופן שבו מודל זיהוי שפה, מודל תרגום ומודל דיפוזיה מתחברים יחד לקוד עובד.

• ניסוי הגדרות הפקה

  בדיקת השפעת מספר הצעדים בין 5 ל־50 וערכי ה־scale על התוצר הוויזואלי.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה בכלל לא עובדת כרגע בגלל תקלת ריצה בקוד. מעבר לזה, הדיוק תלוי לחלוטין באיכות התרגום של mbart, כך שאם התרגום מפספס ניואנס, מודל התמונה ייצר משהו אחר לגמרי. בנוסף, מודל התמונה מבוסס על גרסה 1.4 הישנה מנובמבר 2022, שרחוקה מאוד מהאיכות של מודלים עדכניים.

איך משתמשים

בממשק כותבים את הפרומפט בתיבת הטקסט, ויש אפשרות לפתוח הגדרות מתקדמות כדי לשנות את כמות הצעדים מ־5 עד 50 ואת ערך ה־scale. לחיצה על כפתור Run מפעילה את השרשרת. הסביבה מוגדרת לרוץ על מעבד גרפי מסוג T4-small, אבל נכון לעכשיו היא נמצאת במצב של שגיאת ריצה ולא תגיב בדפדפן.

הרישיון

הפרויקט פועל תחת רישיון CreativeML OpenRAIL-M של מודל התמונה. הרישיון מתיר שימוש חופשי ומסחרי בתוצרים, אך מטיל מגבלות שימוש ספציפיות כמו איסור על יצירת תוכן פוגעני, מידע כוזב או הפרת חוק.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗