hallo — הדגמה

מה זה

אתם מעלים תמונת פנים בקובץ סטטי וקובץ שמע עם דיבור, והתוכנה מפיקה קובץ וידאו בפורמט MP4 שבו הדמות מזיזה את השפתיים, מביעה הבעות פנים ומניעה את הראש בהתאמה לקול.

מאחורי הקלעים פועלת ארכיטקטורה היררכית שמשלבת מודל דיפוזיה מסוג Stable Diffusion 1.5, רכיב תנועה מבית AnimateDiff, חילוץ מאפייני קול דרך wav2vec2, וניתוח תווי פנים של InsightFace ו־MediaPipe. בנוסף המערכת כוללת שימוש ברכיבי PixArt-alpha והפרדת קול בעזרת רשת MDX-Net כדי לבודד את הדיבור ולמפות אותו לשינויים ויזואליים בתוך הפורטרט.

לצורך בדיקות פותח מאגר דגימות ייעודי שכולל קובצי קול ותמונות ניסוי, המאפשרים לבחון את המודל ללא צורך בהקלטה עצמית מראש.

מתאים ל

• הנפשת תמונות סטילס

  יצירת סרטון אנימציה קצר מתוך תמונת פנים יחידה על בסיס קובץ שמע מוקלט.

• דיבוב דמויות מונפשות

  סנכרון תנועות שפתיים והבעות פנים עבור דמויות וירטואליות לצורכי הדגמה ומחקר.

• בדיקת סנכרון תנועה וקול

  הרצת קובצי ניסוי מתוך מאגר הדגימות כדי לבחון איכות התאמת תנועת שפתיים לשמע.

איפה זה נופל

ההדגמה הציבורית כלל אינה מתפקדת בדפדפן עקב שגיאת שרת ומגבלת קוד מכוונת, כך שאי אפשר להזין קבצים ולקבל תוצאה בלי לשכפל את המרחב לתשתית חומרה מתאימה. בנוסף, מדובר במודל כבד מאוד שדורש כרטיסי מסך חזקים כמו A100 או L4 כדי לסיים רינדור של שניות בודדות.

איך מריצים

לוחצים על כפתור ההפעלה אחרי בחירת תמונה וקובץ קול, אבל המרחב הציבורי חסום להרצה ישירה ומקפיץ שגיאה שמחייבת שכפול מופע פרטי. מעבר לכך, העמוד מוגדר כעת במצב תקלת הרצה ומבוסס על מעבד בסיסי בלבד. לפי נתוני המפתחים, יצירת סרטון משמע של 5 שניות דורשת יותר מ־10 דקות עיבוד אפילו על מעבד גרפי מסוג L4, ולכן הרצה על מעבד רגיל אינה ישימה בפועל.

pip install -U huggingface_hub
hf download fudan-generative-ai/hallo

הקבצים

30 קבצים במאגר, 10.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• hallo/net.pth4.9 GB
• stable-diffusion-v1-5/unet/diffusion_pytorch_model.safetensors3.4 GB
• motion_module/mm_sd_v15_v2.ckpt1.8 GB
• wav2vec/wav2vec2-base-960h/model.safetensors377.6 MB
• sd-vae-ft-mse/diffusion_pytorch_model.safetensors334.6 MB
• face_analysis/models/glintr100.onnx260.7 MB
• face_analysis/models/1k3d68.onnx143.6 MB
• audio_separator/Kim_Vocal_2.onnx66.8 MB
• face_analysis/models/scrfd_10g_bnkps.onnx16.9 MB
• face_analysis/models/2d106det.onnx5.0 MB
• face_analysis/models/face_landmarker_v2_with_blendshapes.task3.8 MB
• face_analysis/models/genderage.onnx1.3 MB
• audio_separator/download_checks.json17.2 KB
• audio_separator/mdx_model_data.json12.0 KB
• sd-vae-ft-mse/README.md6.8 KB
• wav2vec/wav2vec2-base-960h/README.md4.4 KB
• audio_separator/vr_model_data.json4.4 KB
• README.md2.6 KB
• .gitattributes1.6 KB
• wav2vec/wav2vec2-base-960h/config.json1.6 KB
• sd-vae-ft-mse/.gitattributes1.5 KB
• wav2vec/wav2vec2-base-960h/.gitattributes790 B
• stable-diffusion-v1-5/unet/config.json743 B
• sd-vae-ft-mse/config.json547 B
• wav2vec/wav2vec2-base-960h/vocab.json291 B
• wav2vec/wav2vec2-base-960h/tokenizer_config.json163 B
• wav2vec/wav2vec2-base-960h/preprocessor_config.json159 B
• wav2vec/wav2vec2-base-960h/feature_extractor_config.json158 B
• wav2vec/wav2vec2-base-960h/special_tokens_map.json85 B
• config.json39 B

הרישיון

הרישיון של המרחב והמודלים לא דווח על ידי המפתחים. בהיעדר תנאי שימוש מוגדרים, המעמד המשפטי של התוכן שאתם מעלים ושל הווידאו שנוצר אינו ברור, ולא ניתן לדעת אם מותר להשתמש בתוצרים לצרכים מסחריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗