SynCD

מה זה

בממשק אתם מזינים תיאור טקסטואלי ומעלים עד שלוש תמונות קלט שונות, שאמורות להגדיר את הדמות או האובייקט שתרצו לשמר. מעבר להנחיית הטקסט הרגילה, אפשר לשלוט כאן בפרמטרים טכניים כמו guidance scale, מספר צעדי יצירה, סיד אקראי, וכן פרומפט שלילי באפשרויות המתקדמות. יש גם הגדרות ייעודיות לערכי CFG אמיתיים וצימוד לתמונה כדי לאזן בין הדיוק לוויז'ואל לבין היצמדות לטקסט.

מאחורי הקלעים רץ צינור עיבוד בשם SynCDFluxPipeline שמבוסס ישירות על המודל הפתוח FLUX.1-dev של חברת Black Forest Labs, בשילוב שכבת transformer מותאמת עם מיסוך. הרעיון במחקר הזה הוא לייצר נתונים סינתטיים מרובי תמונות לצורך התאמה אישית, כך שהמודל לומד לשלב מאפיינים מכמה זוויות או הקשרים לתוך פלט חדש לגמרי, במקום להסתמך על תמונה בודדת שעלולה להגביל את התוצאה.

מתאים ל

• התאמת דמות מכמה תמונות

  יצירת תמונה חדשה ששומרת על מאפייני דמות לפי שלוש תמונות קלט שונות והנחיית טקסט.

• בדיקת מחקר SynCD

  התנסות מעשית באלגוריתם של המאמר ליצירת נתונים סינתטיים מרובי תמונות.

• איזון בין תמונה לטקסט

  כוונון ערכי CFG וצימוד ויזואלי לבדיקת הגבול שבו המודל נצמד לתמונות לעומת הפרומפט.

איפה זה נופל

הבעיה המיידית היא שהספייס תקול כרגע לחלוטין ולא מייצר פלט. מעבר לכך, הקצאת חומרה של מעבד רגיל עבור מודל כבד כמו פלאקס היא ניסיון לא מעשי, שגורר קריסות או זמני המתנה בלתי סבירים. אי אפשר לבדוק ככה את ביצועי השיטה ישירות ברשת.

איך משתמשים

אתם מעלים את הקבצים לשלושת שדות התמונה, מקלידים את הפרומפט ולוחצים על Generate Image. המערכת מוגדרת על חומרת מעבד בסיסית, מה שהופך הרצה של מודל כבד כזה לאיטית בצורה קיצונית אם הוא בכלל מצליח להתחיל, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה ולא תפיק תמונה בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד כולל שינוי והפצה מסחרית. קחו בחשבון שהמודל שרץ בפנים הוא FLUX.1-dev, והשימוש בו כפוף לתנאי הרישיון המקוריים שלו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗