unidiffuser
רץ בדפדפןthu-mlother2023-03-14
הדגמת מחקר שמייצרת תמונות מטקסט, טקסט מתמונות, או שניהם יחד באותו מודל. מתאימה לחוקרים שרוצים לבדוק שילוב רב כיווני בין מדיות בלי להחליף מודל.
- —הורדות בחודש
- 58לייקים
מה זה
הממשק מציג מערכת דיפוזיה שמסוגלת לקחת פרומפט טקסטואלי ולהוציא תמונה, לקבל תמונה ולהוציא תיאור טקסטואלי, או לייצר צמדים של תמונה וטקסט מאפס. מעבר לפעולות הבסיסיות האלו, הוא מציע גם יצירת וריאציות לתמונות קיימות, יצירת וריאציות לטקסט, וריצות נפרדות של יצירת תמונה בלבד או טקסט בלבד דרך טאבים ייעודיים.
מאחורי הקלעים הקוד טוען את המודל thu-ml/unidiffuser-v1 בחצי דיוק באמצעות ספריית diffusers, ומריץ ארכיטקטורה מאוחדת שמטפלת בשני הסוגים יחד. בממשק יש שדות לפרומפט או לתמונה לפי המצב הנבחר, לצד הגדרות מתקדמות שמאפשרות לקבוע מספר צעדים, ערך seed ופרמטר guidance scale כדי לשלוט בתוצאה המופקת.
מתאים ל
- יצירת תיאור לתמונה קיימת
מעלים תמונה לטאב image2text ומקבלים תיאור טקסטואלי שמנסה להסביר מה מופיע בה.
- הפקת תמונה מטקסט
כותבים פרומפט בשורת הקלט בטאב text2image ומקבלים תמונה שנוצרת ישירות ממנו.
- יצירה משולבת מאפס
מפעילים את מצב joint generation כדי לקבל בו זמנית תמונה חדשה יחד עם טקסט שמתאים לה.
- יצירת וריאציות תמונה
טוענים תמונה קיימת ומפיקים גרסה חדשה שלה שמבוססת על המאפיינים הוויזואליים המקוריים.
איפה זה נופל
הבעיה המרכזית כרגע היא סטטוס RUNTIME_ERROR שמשבית לחלוטין את השימוש בדפדפן. מעבר לכך, מדובר במודל שהועלה במרץ 2023, כך שהפלט הטקסטואלי והוויזואלי שלו מוגבל יחסית למה שקיים כיום במודלים ייעודיים נפרדים. שדות הקלט הטקסטואליים מוגבלים לשורה אחת בלבד, ואין כאן אפשרות לתקן או לערוך פרטים ספציפיים בתמונה מעבר לשינוי כללי של ההגדרות.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. העמוד נמצא במצב של תקלת ריצה, RUNTIME_ERROR, ולכן לא ניתן להריץ פעולות בממשק כרגע. כדי להשתמש בה יש להמתין לעדכון מצד המפתחים או לבדוק את הקוד ישירות.
האם אפשר להריץ את הכלי במחשב האישי?
כן, הקוד מסתמך על Diffusers וטוען את המודל thu-ml/unidiffuser-v1 ישירות. מי שמחזיק בחומרה מתאימה עם כרטיס גרפי תומך יכול למשוך את המשקולות ולהריץ את הצינור מקומית בפייתון.
האם השימוש בממשק עולה כסף?
הגישה להדגמה עצמה היא ללא תשלום ואינה דורשת כרטיס אשראי. עם זאת, התשתית שלה בנויה על חומרת zero-a10g שכפופה למגבלות זמינות ואינה מתאימה לעיבוד כמויות גדולות של מידע.
במה המערכת שונה ממחוללי תמונות רגילים?
בניגוד לכלים שמבצעים רק המרה של טקסט לתמונה, המודל הזה מחזיק ארכיטקטורה אחת שמטפלת גם בהמרת תמונה לטקסט וביצירה משותפת של שניהם. הוא לא מפריד בין מודל שפה נפרד למודל תמונה נפרד.
איך משתמשים
בוחרים את הטאב הרצוי לפי סוג הפעולה, מקלידים פרומפט או מעלים תמונה, ולוחצים על Run. תחת ההגדרות המתקדמות אפשר לשנות ידנית את ה־seed, לסמן תיבה לבחירה אקראית שלו, ולכוונן את מדרגות הריצה וההנחיה. האפליקציה מוגדרת לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, אבל כרגע העמוד מדווח על שגיאת ריצה ולכן אי אפשר להפעיל אותה בפועל בדפדפן בלי תיקון של הקוד או סביבת העבודה.
הרישיון
הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר כמו MIT או Apache. המשמעות היא שאין הרשאה ברורה מראש לשימוש מסחרי, וצריך לבדוק את תנאי המאמר והקוד המקוריים לפני שמשתמשים בפלטים.