LatentSync-1.6

מה זה

בייטדאנס שחררו את העדכון הזה כדי לתקן תלונה נקודתית מאוד של משתמשים: אזור השיניים והשפתיים יצא מטושטש מדי בגרסה הקודמת. במקום לשנות את הארכיטקטורה של הרשת או לגעת באסטרטגיית האימון, הם פשוט לקחו סרטונים ברזולוציה של 512 על 512 ואימנו מחדש.

התוצאה היא חדות גבוהה יותר בפנים בלי סיבוכים מיותרים בקוד. מכיוון שמבנה המודל נשאר זהה לגמרי למה שהיה בגרסה 1.5, אפשר לעבור ביניהן בקלות, כל עוד משנים את פרמטר הרזולוציה בהגדרות. זה פתרון ממוקד מאוד שנועד לשפר איכות ויזואלית בסיסית שנפגעה ברינדורים הקודמים.

מתאים ל

• דיבוב סרטוני הדרכה

  התאמת שפתיים מדויקת יותר ברזולוציה טובה יותר כשמתרגמים דובר לשפה חדשה.

• תיקון ליפסינק קיים

  החלפת גרסת המודל הקודמת בלחיצת כפתור כדי להעלים טשטוש באזור הפה.

• הפקת דמויות וירטואליות

  יצירת וידאו של פנים מדברות באיכות 512 על 512 עבור שילוב באווטארים.

איפה זה נופל

היוצרים הודו בעצמם שהגרסה הקודמת סבלה ממריחות בשיניים ובשפתיים, ולמרות שהרזולוציה עלתה ל־512 על 512, המבנה הפנימי לא השתנה בכלל. זה אומר שבעיות שורשיות בסנכרון, ארטיפקטים בתנועות ראש חדות או עיוותים שמגיעים מהאלגוריתם המקורי עדיין עלולים לצוץ. כדאי לבדוק טוב איך הוא מתמודד עם דיבור מהיר וזוויות צילום קשות לפני שמשלבים אותו במוצר.

איך מריצים

מורידים כמעט תשעה גיגה בייטים של משקלים ומריצים את זה דרך הריפו הרשמי בגיטהאב. מי שכבר הריץ את גרסה 1.5 לא צריך לשבור את הראש עם התקנות חדשות, כי הקוד תומך בשתי הגרסאות במקביל. כל מה שנדרש זה לטעון את הצ'קפוינט החדש ולעדכן את שדה הרזולוציה בקובץ הקונפיג של ה־U-Net לערך של 512.

קבצים בגודל של תשעה גיגה דורשים כרטיס מסך מודרני עם מספיק זיכרון כדי לעבד את הפריימים בקצב סביר. אם אין לכם חומרה מקומית חזקה וייעודית לעיבוד וידאו כבד, כנראה שיהיה לכם יקר ואיטי מדי להחזיק שרת כזה פעיל באופן רציף.

pip install -U huggingface_hub
hf download ByteDance/LatentSync-1.6

הקבצים

13 קבצים במאגר, 9.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• latentsync_unet.pt5.1 GB
• auxiliary/vit_g_hybrid_pt_1200e_ssv2_ft.pth2.0 GB
• stable_syncnet.pt1.6 GB
• auxiliary/vgg16-397923af.pth553.4 MB
• auxiliary/koniq_pretrained.pkl109.8 MB
• auxiliary/sfd_face.pth89.8 MB
• whisper/tiny.pt75.6 MB
• auxiliary/syncnet_v2.model54.6 MB
• auxiliary/i3d_torchscript.pt51.2 MB
• .gitattributes1.5 KB
• README.md878 B
• .gitignore184 B
• config.json32 B

הרישיון

הפרויקט מופץ תחת רישיון openrail++. הרישיון הזה מתיר שימוש חופשי אבל כולל הגבלות התנהגותיות ברורות, בעיקר איסור על שימוש לרעה, יצירת תוכן מטעה או פעולות שמפרות זכויות. אם אתם מתכננים שילוב במוצר מסחרי, אתם חייבים לוודא שתרחיש השימוש שלכם לא נופל תחת ההגבלות האלו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗