InfiniteTalk

קוד פתוח

MeiGen-AIapache-2.02025-08-18

infinitetalk
en
zh

מודל ליצירת וידאו מסאונד שמסנכרן שפתיים, תנועות ראש והבעות פנים לאורך זמן בלתי מוגבל. הוא מתאים למי שצריך דיבוב וידאו ריאליסטי או הנפשת תמונה מקובץ שמע בלי עיוותי גוף קשים.

157 GBמשקל הקבצים
26,810הורדות בחודש
244לייקים

מה זה

הפרויקט הזה לוקח קובץ אודיו יחד עם וידאו קיים או תמונת סטילס, ויוצר וידאו שבו הדמות מדברת בסנכרון מלא. בניגוד לכלים שרק מחליפים את אזור הפה ומייצרים מראה מודבק, הוא מזיז את הראש, הגוף והבעות הפנים בהתאם לדיבור, ושומר על מראה עקבי של הדמות גם בסרטונים ארוכים מאוד.

היוצרים שלו מציגים אותו כחלופה יציבה יותר ל־MultiTalk, עם פחות עיוותים בידיים ובגוף ורמת דיוק גבוהה יותר בתנועות השפתיים. הוא מיועד לעבוד בשפות אנגלית וסינית, ומתאים לתרחישים של דיבוב מחדש של דובר או יצירת סרטון שלם מתמונה בודדת ופס קול.

מתאים ל

דיבוב וידאו ארוך
התאמת תנועות שפתיים, ראש והבעות לפס קול חדש בסרטונים מלאים בלי הגבלת זמן.
הנפשת תמונת סטילס
יצירת דמות מדברת מקובץ תמונה ואודיו בלבד עם תנועות גוף טבעיות.
החלפת שפה בווידאו קיים
סנכרון תנועות פנים לדיבוב באנגלית או בסינית תוך שמירה על יציבות הדמות.

איפה זה נופל

המודל הוגדר לעבודה באנגלית ובסינית בלבד, כך שאין שום הבטחה שסנכרון השפתיים יעבוד בצורה סבירה על שפות אחרות או פונמות בעברית. בנוסף, מדובר במפלצת של 157 גיגה בייט שדורשת זמן פיתוח ותשתיות יקרות רק להרצה, והתיעוד בעמוד המודל דל מאוד ומפנה לקוד חיצוני בגיטהאב בלי לספק מפרט חומרה רשמי או זמני ביצוע מדויקים.

שאלות
נפוצות

האם המודל יתאים לדיבוב אודיו בעברית?

הוא אומן והוגדר רשמית רק לאנגלית ולסינית. יכול להיות שצלילים מסוימים ייראו סביר, אבל תנועות הפה והעיצורים בעברית לא נבדקו וסביר להניח שיתקבלו חוסר דיוקים.

אפשר להריץ אותו על מחשב אישי רגיל?

לא ממש. המשקלים לבדם תופסים 157 גיגה בייט, מה שמחייב כרטיס מסך ברמה של תחנת עבודה או שרת ייעודי בענן עם נפח זיכרון גרפי עצום.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־157 גיגה בייט שמחולקים ל־24 קבצים. זה אומר שאתם צריכים שטח אחסון מהיר ונפח זיכרון גרפי כבד מאוד, ברמה של כרטיסי שרת מקצועיים, רק כדי לטעון את המשקלים ולהריץ רינדור בלי לקרוס.

מי שאין לו תשתית GPU מקומית חזקה במיוחד יתקשה לעבוד איתו. במקרה כזה, עדיף בהרבה להרים שרת ייעודי בענן לפי שעה או לבדוק אם יש שירות שמנגיש אותו דרך API במקום להשקיע ברכישת חומרה כבדה.

pip install -U huggingface_hub
hf download MeiGen-AI/InfiniteTalk

הקבצים

24 קבצים במאגר, 157 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולשלב אותו במוצרים, בתנאי ששומרים על הודעת הרישיון והקרדיט המקורי. היוצרים מדגישים שאין להם זכויות על התוכן שנוצר, אך האחריות לשימוש חוקי ולא מזיק חלה עליכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗