HuMo_local
רץ בדפדפןalexnasaרישיון לא דווח2025-10-15
הכלי מייצר סרטוני וידאו קצרים המבוססים על תמונת פנים וקובץ שמע לדיבוב ושפתיים. הוא מתאים למי שרוצה לבדוק יצירת דמויות מדברות על בסיס מודלים פתוחים.
- —הורדות בחודש
- 56לייקים
מה זה
אתם מעלים תמונת מקור אחת או יותר, מוסיפים קובץ שמע של דיבור, ומקלידים תיאור טקסטואלי של הסצנה הרצויה. בתמורה מקבלים סרטון וידאו שבו הדמות זזה ומדברת בהתאם לקול שהזנתם, עם הגדרה של כמות הפריימים בין 45 ל־95 ומספר צעדי דיפוזיה בין 10 ל־50.
מאחורי הקלעים רץ שילוב כבד של מודלים. הבסיס נשען על HuMo של ByteDance ועל מודל הווידאו Wan2.1-T2V-1.3B, כשאליהם מצטרף Whisper large-v3 של OpenAI לעיבוד השמע והתאמת השפתיים. בנוסף, הקוד מושך ספריות מקומפלות כמו Flash Attention 3 ו־Transformer Engine כדי לנסות להאיץ את החישובים.
הממשק כולל דוגמאות מובנות מראש של תמונות דיוקן כמו נעמי או אלה, לצד קבצי שמע קצרים, כדי שאפשר יהיה לראות את התוצאה בלי להעלות קבצים עצמאיים.
מתאים ל
- דיבוב תמונות סטילס
הנפשת תמונת פנים לפי קובץ קול קצר עם תנועות שפתיים מותאמות.
- יצירת סצנות קצרות מטקסט
שילוב הנחיית טקסט עם תמונת רפרנס להגדרת תנועה בסיסית בווידאו.
- בדיקת שילוב מודלי קוד פתוח
בחינת הצינור שבין Wan2.1, מודל HuMo ו־Whisper לעיבוד וידאו ושמע.
איפה זה נופל
הבעיה המיידית היא שהכלי מושבת ולא מייצר סרטונים כרגע. מעבר לזה, המערכת דורשת חובה להזין פרומפט יחד עם תמונה או קובץ קול, כך שאי אפשר להסתמך רק על טקסט. הטווח מוגבל לעד 95 פריימים בלבד, שזה סרטון של שניות בודדות, והדוגמאות המוכנות מראש שמורות במטמון ומייצרות אשליה של מהירות שאינה תואמת הרצה חיה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא, הדף נמצא במצב מושהה והוא אינו זמין ליצירה חיה בדפדפן. כדי להשתמש בו צריך לשכפל את המאגר ולהריץ אותו בחשבון עצמאי עם חומרה מתאימה.
כמה זמן לוקח לייצר סרטון?
החומרה שהוגדרה למרחב היא מעבד רגיל בלבד, ולכן ייצור וידאו מלא עלול לקחת שעות או לקרוס. הדוגמאות בעמוד נטענות מיד רק בגלל שהן נשמרו מראש במטמון.
מה קורה לקבצים שמעלים לממשק?
הקוד שומר את הקבצים בתיקיות זמניות בשרת ומפעיל פונקציות ניקוי בסיום הפעולה. יחד עם זאת, מדובר בהרצה על שרת ציבורי ללא הצהרת פרטיות ייעודית, ולכן עדיף לא להעלות חומרים רגישים.
האם אפשר להריץ את זה על המחשב בבית?
הקוד זמין להורדה, אבל דורש כרטיס מסך חזק מאוד עם תמיכה בהרחבות מורכבות כמו Flash Attention 3 ו־Transformer Engine. בלי מעבד גרפי מתאים המודלים של HuMo ו־Wan לא ירוצו.
איך משתמשים
לוחצים על כפתור Action כדי להתחיל, אבל נכון לעכשיו אי אפשר להריץ את העיבוד בדפדפן כי השרת נמצא במצב מושהה. גם כשהוא פעיל, העמוד מוגדר עם מעבד בסיסי בלבד. הרצת שרשרת מודלים שכוללת מודל וידאו ו־Whisper על מעבד כזה פשוט לא מציאותית בזמני המתנה סבירים בלי גיבוי של כרטיס גרפי.
הרישיון
הרישיון של המרחב לא דווח. מודלי הבסיס של HuMo, Wan ו־Whisper מגיעים מתנאי שימוש שונים של החוקרים שפרסמו אותם, וללא רישיון ברור לא כדאי להשתמש בתוצרים לצרכים מסחריים.