image-to-talking-head

מה זה

בממשק תמצאו שדה להעלאת תמונת פנים עם ברירת מחדל של קובץ מקומי בשם creatus.jpg, שדה להזנת טקסט, ותיבת שמע שבה אפשר להקליט או להעלות קובץ קול לצורך שכפול דיבור. לאחר ההרצה מקבלים קובץ וידאו עם הדמות המונפשת.

הקוד עצמו משתמש בספריית gradio_client כדי להתחבר לשירות חיצוני שמבצע את העיבוד וההנפשה בפועל, במקום להריץ מודל כבד ישירות על השרת המקומי. אם התמונה לא כוללת פנים שניתן לזהות, הקוד עוצר וזורק הודעת שגיאה מפורשת שמבקשת לנסות שוב עם תמונה מתאימה.

מתאים ל

• הנפשת תמונות סטילס

  יצירת קטע וידאו קצר מתוך תמונת פורטרט קיימת יחד עם טקסט כתוב.

• דיבוב בקול מותאם

  הקלטת קובץ קול מקומי כדי לנסות שכפול דיבור של הדמות המונפשת.

• בדיקת ממשקי גרדיו

  בחינת אופן החיבור בין ממשק משתמש לקליינט חיצוני דרך קוד פייתון פשוט.

איפה זה נופל

הבעיה המיידית היא שהעמוד נמצא בסטטוס של שגיאת ריצה, ולכן אי אפשר להשתמש בו כרגע כלל בלי לתקן את הקוד. בנוסף, חובה לוודא שהתמונה מכילה פנים ברורות לחלוטין, אחרת המערכת נכשלת מיד בהודעת שגיאה על חוסר זיהוי תווי פנים. אי אפשר לדעת מהקוד באילו מודלים חיצוניים הקליינט משתמש או מה רמת הדיוק של סנכרון השפתיים.

איך משתמשים

לוחצים על כפתור Submit לאחר שמזינים טקסט, תמונה ואודיו אופציונלי. החומרה שהוגדרה היא מעבד בסיסי בלבד, מה שהיה גורם להמתנה ארוכה מאוד אילו החישוב היה מקומי, אבל בפועל הממשק פשוט פונה לקליינט מרוחק שמבצע את העבודה. נכון לעכשיו אי אפשר באמת להריץ כאן שום דבר, כי השרת תקוע במצב של שגיאת ריצה כללית.

הרישיון

הרישיון של הפרויקט לא דווח כלל במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, וכל הזכויות שמורות ליוצר עד שיוגדר אחרת.

הרישיון המלא ב־Hugging Face ↗