skyreels-a1-talking-head

מה זה

אתם מעלים תמונת פורטרט וקובץ שמע, ומקבלים סרטון של הפנים מדברות לצד סרטון השוואה. הממשק מאפשר לקבוע שני פרמטרים בלבד, עוצמת ההנחיה בטווח שבין 1 ל־7 וכמות צעדי הריצה מ־5 עד 30.

מתחת למכסה המנוע רצה שרשרת מורכבת של מודלים. עיבוד הקול נשען על Hubert ו־Wav2Vec2, חילוץ נקודות הפנים מתבצע בעזרת ספריות כמו MediaPipe ו־DiffPoseTalk, וחיבור הווידאו עצמו מסתמך על מודל התמונה-לווידאו CogVideoX-5b מבית zai-org יחד עם מודלים של SkyReels A1 ו־SigLIP.

מתאים ל

• הנפשת תמונות סטילס

  יצירת סרטון קצר שבו דמות מתוך תמונת פורטרט מזיזה את הפה והראש לפי הקלטה.

• דיבוב דמויות מונפשות

  התאמת שפתיים של תמונה מאוירת לקובץ דיבוב קיים לצורך סרטוני הדגמה.

• השוואת איכות תנועה

  בדיקת ההבדל בין תמונת המקור לסרטון שנוצר באמצעות נגן ההשוואה המובנה.

איפה זה נופל

הבעיה המיידית היא שההדגמה שבורה ולא מייצרת פלטים בגלל שגיאת הגדרה פנימית. מעבר לזה, המודל מבוסס על ספריות חילוץ פנים, כך שתמונות שאינן מציגות פורטרט ברור מקדימה עלולות להיכשל בעיבוד או ליצור עיוותים קשים באזור הפה. כדאי לזכור שברירת המחדל מוגדרת על 10 צעדים בלבד, מה שמספק בדיקה מהירה אך עלול לפגוע באיכות התנועה.

איך משתמשים

בפועל נכנסים לדף, מעלים קובץ תמונה של פנים וקובץ קול, מכוונים את שני הסליידרים של ההנחיה ומספר הצעדים, ולוחצים על כפתור ההפקה. אין כאן דרישה להרשמה מראש דרך הממשק, אבל כרגע הריצה מושבתת לחלוטין כי השרת נמצא במצב של שגיאת קונפיגורציה.

המערכת מוגדרת להשתמש במאיץ מסוג zero-a10g. במצב תקין חומרה כזאת מייצרת המתנה קצרה של עשרות שניות עד מספר דקות בהתאם למספר הצעדים, אך כרגע הדף כלל לא מסוגל להתחיל בעיבוד.

הרישיון

הקוד מופץ ברישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה חופשית. עם זאת, המודלים והקבצים שנטענים מבחוץ עשויים להיות כפופים לרישיונות משלהם, והחומרים שאתם מעלים מועברים לשרתי פלטפורמת הענן שמארחת את הדף.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗