DRA-Ctrl

מה זה

אתם מעלים תמונת מקור, בוחרים משימה מתוך הרשימה ומגדירים הנחיית טקסט ליעד המבוקש. במשימות מסוימות כמו העברת סגנון או יצירה מונחית נושא, צריך להזין גם תיאור טקסטואלי לתמונת המקור עצמה. יש אפשרות להפעיל תיחום ידני לפי קואורדינטות מספריות עבור משימות של מילוי או הרחבת תמונה, ולקבוע את מספר צעדי הדיפוזיה.

מאחורי הקלעים רץ שילוב כבד של HunyuanVideo עם מודל הבקרה DRA-Ctrl, מפענחי טקסט של Llava ושל CLIP, ומודל Depth-Anything לחילוץ עומק. הפלט מציג תמונה מרונדרת או וידאו שנוצר מהעיבוד, ויש דוגמאות מובנות בממשק שאפשר לטעון בלחיצה.

מתאים ל

• העברת סגנון

  לקיחת סגנון אמנותי מתמונת מקור והחלתו על יצירה חדשה באמצעות פרומפט ייעודי.

• יצירת וידאו מתמונה

  הנפשת תמונת קלט בעזרת מודל הווידאו והנחיה מילולית של התנועה הרצויה.

• מילוי והרחבת תמונה

  עריכת אזור מוגדר בתוך תמונה לפי גבולות קואורדינטות שמגדירים ידנית.

איפה זה נופל

ההגדרה של תיחום המילוי דורשת הזנת קואורדינטות במספרים במקום סימון נוח עם מברשת, מה שמסרבל מאוד את העבודה. מעבר לזה, הדגמת רשת על גבי מעבד גרפי יחיד לא תמיד מייצגת את הביצועים המלאים או את הרזולוציה המקסימלית שמפיקים בהרצה מקומית על חומרה חזקה יותר.

איך משתמשים

בוחרים משימה, מעלים קובץ תמונה, ממלאים את הנחיית הטקסט ולוחצים על Run. הממשק רץ על חומרת Zero-A10G, אבל המפתחים הגדירו במפורש עיבוד סדרתי בתהליכון יחיד כדי למנוע קריסות. המשמעות היא שאם יש משתמשים נוספים ברקע, ממתינים בתור והיצירה עלולה לקחת זמן מורגש, בייחוד עם 50 צעדי דיפוזיה כברירת מחדל.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בכפוף לתנאי הרישיון. הקבצים שאתם מעלים והתוצאות שנוצרות מעובדים בשרתי הפלטפורמה בעת ההרצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗