SII-GAIR/daVinci-MagiHuman
רץ בדפדפןSII-GAIRרישיון לא דווח2026-03-22
הדגמה שמייצרת וידאו קצר של דמות אנושית מדברת יחד עם סאונד מותאם. אתם מעלים תמונת פנים, כותבים הנחיה טקסטואלית, והמודל מחבר ביניהן לסרטון.
- —הורדות בחודש
- 167לייקים
מה זה
בצד הקלט מעלים תמונת פנים כרפרנס, כותבים תיאור טקסטואלי של מה שהדמות אומרת או עושה, ובוחרים משך בשניות יחד עם סיד. הקוד משתמש במודל חיצוני מסוג gemini-3-flash-preview כדי לשפר ולהרחיב את הפרומפט שלכם לפני הרינדור, ומציג את הטקסט המשופר בתיבה ייעודית לצד הווידאו המוגמר.
מאחורי הקלעים עומדת ארכיטקטורת שנאי יחיד של 15 מיליארד פרמטרים, שמפענחת וידאו ואודיו יחד ישירות מסקוונס טוקנים מאוחד, ללא מנגנוני cross-attention נפרדים. המודל שולט בשפות כמו אנגלית, סינית, צרפתית, גרמנית, יפנית וקוריאנית, ומיועד לשמור על סנכרון הדוק בין הדיבור לתנועת השפתיים והגוף.
מתאים ל
- הנפשת תמונת פרופיל
הפיכת תמונת פנים יחידה לסרטון קצר שבו הדמות מדברת וזזה בהתאם להנחיית טקסט.
- הפקת דיבור רב לשוני
יצירת סרטוני דיבור עם סנכרון שפתיים מלא בשפות כמו אנגלית, צרפתית או מנדרינית.
- בדיקת איכות התנועה
בחינת יכולות הסנכרון והבעות הפנים של המודל לפני הורדת משקלי 15B להרצה מקומית.
איפה זה נופל
עברית לא מופיעה ברשימת השפות הנתמכות, ולכן דיבור בעברית או טקסט מקומי כנראה לא יסונכרנו כשורה עם תנועות הפנים. בנוסף, ההדגמה מחייבת גם תמונת ייחוס וגם טקסט, ומסתמכת על תשתית API מרוחקת כך שתקלות תקשורת או עומסים חיצוניים יכשילו את הריצה למרות שהעמוד עצמו מוגדר כפעיל.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
הפעלת הממשק בדפדפן זמינה ללא תשלום ישיר בעמוד. כל מה שנדרש זה להזין תמונה ופרומפט וללחוץ על הפקה, כל עוד השרת המרוחק מגיב.
האם המודל עצמו רץ ישירות על הדפדפן או על המחשב שלי?
לא, הממשק רץ על חומרת שרת בסיסית וקורא ל־API חיצוני שמבצע את הרינדור הכבד. המחשב שלכם משמש רק להצגת הממשק הגרפי וקליטת הקבצים.
האם אפשר להריץ את המערכת מקומית על חומרה פרטית?
כן, המשקלים והקוד פתוחים להורדה, אך דורשים חומרה חזקה במיוחד כדי לפעול. לפי התיעוד נדרש כרטיס H100 כדי להגיע לזמני הפקה של שניות בודדות לסרטון קצר.
האם ההדגמה תומכת בהפקת דיבור בעברית?
עברית אינה נכללת ברשימת השפות הנתמכות שפרסמו המפתחים. סביר להניח שהגיית המילים ותנועות השפתיים בעברית לא יעבדו בצורה תקינה.
איך משתמשים
לוחצים על כפתור Generate אחרי הזנת התמונה והטקסט וממתינים. ההדגמה הזו רצה על מעבד בסיסי בלבד בחומרה של Hugging Face, אבל קוד הממשק מראה שהיא לא מרנדרת את המודל הגדול מקומית אלא מעבירה קריאה דרך מודול api_client לשרת מרוחק. זמני ההמתנה בפועל תלויים בעומס על השרת החיצוני הזה.
הרישיון
הקוד והמודלים של הפרויקט שוחררו במקור תחת רישיון Apache 2.0 פתוח, אך בעמוד ההדגמה עצמו הרישיון מסומן כלא דווח. אם אתם מעלים תמונות של אנשים אמיתיים, זכרו שהן עוברות עיבוד דרך שירותי צד שלישי ו־API חיצוניים.