Versatile-Diffusion

מה זה

אתם מקבלים כאן ממשק שכולל ארבעה מסלולי עבודה נפרדים. אפשר להזין טקסט כדי לייצר גלריית תמונות, להעלות תמונה כדי לקבל וריאציות גרפיות חדשות, להעלות תמונה ולחלץ ממנה תיאור טקסטואלי, או להכניס משפט ולקבל ניסוח מחדש שלו. בכל מסלול יש דוגמאות מובנות מראש שנשמרות במטמון של המערכת.

מאחורי הקלעים רץ המודל Versatile Diffusion בגרסת המשקולות vd-four-flow-v1-0 יחד עם הדוגם DDIM. לצורך עיבוד המידע הרב כיווני, המערכת נשענת על מודל הראייה והשפה CLIP בגרסת ViT Large Patch 14, ומשלבת מספר מודלי BERT בשפות שונות, ביניהן סינית וגרמנית.

מתאים ל

• יצירת תמונה מטקסט

  הזנת תיאור באנגלית וקבלת תמונות תואמות ישירות לגלריית התוצאות.

• וריאציות של תמונה

  העלאת קובץ קיים ויצירת גרסאות דומות תוך שליטה על סגנון וצבע.

• חילוץ טקסט מתמונה

  תרגום של תמונה נתונה לתיאור מילולי מדויק שמסביר את תוכנה.

• שינוי ניסוח טקסטואלי

  הזנת משפט בתיבת הקלט לקבלת גרסה חלופית שמבוססת על המודל.

איפה זה נופל

הבעיה המיידית היא שהמרחב מושבת עם סטטוס שגיאה, ולכן אי אפשר להריץ עליו שום בדיקה חדשה דרך הדפדפן. בנוסף, תכונת הקשר כפול שמשלבת תמונה וטקסט יחד כבויה בקוד המקור ולא מופיעה בממשק. מודלי הברט שנטענים ברקע אינם תומכים בעברית, ולכן ניסיונות קלט בשפה המקומית יכשלו או יתנו פלט משובש.

איך משתמשים

בוחרים באחת מארבע הלשוניות, מזינים את הטקסט בתיבה או מעלים קובץ תמונה, קובעים מספר סיד עבור עקביות, ולוחצים על כפתור ההרצה. ביצירת וריאציות מתמונה יש תיבת סימון שפותחת הגדרות מתקדמות עבור רמת הדמיון למקור, מיקוד בין סמנטיקה לסגנון, והתאמת צבעים. המערכת מוגדרת לרוץ על מאיץ גרפי בודד מסוג L4, אבל אין צורך לחכות לתוצאות כרגע כי המרחב נמצא בשגיאת ריצה ואינו מגיב.

הרישיון

הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי קוד והפצה מסחרית ללא עלות. עם זאת, השימוש בתכנים שאתם מעלים או מפיקים כפוף לרישיונות של מודלי הבסיס הפנימיים כמו המודלים של גוגל וקליפ של אופן אי איי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗