Wan2.2-S2V

מה זה

אתם מעלים תמונת פנים וקובץ אודיו, בוחרים רזולוציה בתיבת הבחירה, והממשק פולט סרטון וידאו שבו הדמות שבתמונה מדברת ומותאמת לסאונד. בעמוד יש גם תיקיית דוגמאות מוכנות מראש שאפשר לטעון בלחיצה כדי לראות איך זה עובד בלי להעלות חומרים משלכם.

מאחורי הקלעים מוגדר המודל Wan2.2-S2V-14B, אבל הקוד מציין בפירוש שכאן רצה גרסה מזוקקת וקלה שלו ולא המודל המלא. בנוסף, הקוד כולל שימוש ב־dashscope וב־oss2 של עליבאבא, מה שמעיד על כך שהעיבוד האמיתי נשלח לשירות ענן חיצוני ולא מתבצע ישירות על השרת המקומי.

מתאים ל

• הנפשת תמונת פרופיל

  חיבור קובץ קול מוקלט לתמונת סטילס כדי להפיק סרטון דיבור קצר לדמות.

• בדיקת מודל הדיבוב

  בחינה מהירה של יכולות סנכרון השפתיים לפני שמורידים את משקולות ה־14B.

• יצירת דמויות מדברות

  הפקת קטעי וידאו קצרים עבור מצגות או הדגמות על בסיס אודיו מוכן.

איפה זה נופל

ההדגמה הזו לא מריצה את המודל המלא בגודל 14B אלא גרסה מזוקקת, ולכן התוצאות כאן לא מייצגות את מלוא היכולת של הקוד הפתוח המקורי. בנוסף, הממשק דורש התאמה מדויקת בין תמונת הראש לקול, ומאחר שמדובר בעיבוד שמסתמך על שירות חיצוני של dashscope, תקלות תקשורת או עומסים בצד שלהם פשוט יפילו את היצירה בלי הודעה מפורטת.

איך משתמשים

לוחצים על כפתור Generate Video וממתינים. החומרה שהוקצתה להדגמה הזו היא מעבד פשוט בלבד, מה שמחזק את העובדה שהחישוב הכבד נשלח ל־API חיצוני דרך שרתי dashscope. אם אין עומס של משתמשים אחרים זה ירוץ תוך זמן קצר, אבל אם שירות הענן החיצוני תופס תור, זמני ההמתנה יתארכו בלי שתהיה לכם אינדיקציה ברורה לגבי המצב.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה של הקוד. עם זאת, הקבצים שאתם מעלים נשלחים לעיבוד דרך שירותי ענן חיצוניים של dashscope ו־oss, כך שמומלץ להימנע מהעלאת מידע רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗