RB-Modulation

מה זה

אתם מעלים תמונת מקור להגדרת סגנון, כותבים תיאור טקסטואלי של הסגנון, ומוסיפים תיאור של הנושא שתרצו לייצר. אם תרצו לשמור על נושא מסוים, אפשר לסמן תיבה ייעודית ולהעלות גם תמונת מקור עבורו. הפלט שמתקבל הוא תמונה חדשה שמשלבת את הנושא והסגנון שהגדרתם.

מאחורי הקלעים רץ מימוש של RB Modulation שנשען על ארכיטקטורת Würstchen עם שלבי Stage C ו־Stage B, יחד עם LangSAM לחיתוך נושאים ובקרת רעש מבוססת Stochastic Optimal Control. הממשק כולל דוגמאות מובנות שמדגימות את השילוב בין התמונות לטקסט, אך המערכת לא שומרת תוצאות מוכנות מראש במטמון ומבצעת חישוב בכל פעם מחדש.

מתאים ל

• העתקת סגנון אמנותי

  העלאת איור או ציור כדי להחיל את השפה הוויזואלית שלו על תיאור טקסטואלי חדש.

• שילוב נושא וסגנון

  מיזוג דמות מתמונה אחת עם אווירה ומראה גרפי מתמונה אחרת ללא אימון מודל.

• יצירה מבוססת רפרנס

  שמירה על מאפייני עצם ספציפי בעזרת תמונת נושא והנחיית טקסט משלימה.

איפה זה נופל

הבעיה המיידית היא סטטוס RUNTIME ERROR שמונע שימוש בדף כרגע. מעבר לזה, חיבור של שני רפרנסים שונים במקביל דורש שילוב מדויק בין טקסט לתמונה, וכשהתיאור לא תואם את המקור התוצאה עלולה להתעוות. הדוגמאות בעמוד לא נשמרות במטמון, כך שאין דרך לראות תוצאות מהירות בלי להמתין להרצה מלאה.

איך משתמשים

טוענים את התמונות הרצויות, ממלאים את שדות הטקסט, ולוחצים על Submit. אם יש לכם מחסור במשאבים אפשר לסמן מצב Low VRAM, ומד ההתקדמות מציג את ריצת הצעדים בזמן אמת. המערכת מוגדרת לרוץ על מאיץ L40S בודד, אבל כרגע היא נמצאת במצב שגיאת ריצה ולכן לא תגיב בלחיצה.

הרישיון

הרישיון לא דווח בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בפלטים, וכדאי להיזהר מהעלאת חומרים רגישים.

הרישיון המלא ב־Hugging Face ↗