vid2persona

מה זה

התהליך מתחיל בהעלאת סרטון באורך של עד 180 שניות. לחיצה על כפתור הייצור מפעילה רכיב ראייה שמנתח את הווידאו ופולט רשימת תכונות במבנה JSON. המאפיינים האלה מגדירים את הדמות שמולה מדברים.

לאחר חילוץ התכונות נפתח ממשק שיחה. מאחורי הקלעים פועל מודל שפה שמקבל את פרופיל הדמות ועונה בהתאם להגדרות כמו אורך קלט, אורך פלט וטמפרטורה. רשימת המודלים בקוד כוללת אפשרויות ממשפחות Llama 2, Mistral, Mixtral ו־Zephyr, כאשר גרסת ברירת המחדל מוגדרת על Zephyr 7B Beta.

הממשק מכיל דוגמאות שמורות מראש שמאפשרות לבדוק את התוצאות בלי להעלות קובץ חדש.

מתאים ל

• בדיקת דמויות לווידאו

  חילוץ קווי אופי מתוך דמות מצולמת ובחינת השיחה איתה בצ׳אט מבוסס בינה מלאכותית.

• ניסוי פרמטרים במודלים

  שינוי ערכי טמפרטורה ואורך טוקנים כדי לראות איך הם משפיעים על היצמדות המודל לתפקיד.

• השוואת מודלי שפה

  בחינת תגובות של מודלים שונים כמו Mistral או Zephyr לאותו פרופיל דמות בדיוק.

איפה זה נופל

הכלי מוגבל לסרטונים של שלוש דקות לכל היותר, ולא יתמודד עם קטעים ארוכים או מורכבים. בנוסף, חילוץ התכונות נשען על מה שהמודל מצליח לקלוט מהווידאו, ולעיתים הוא מפספס ניואנסים ובונה אישיות שטחית. מכיוון שהעמוד מושהה, הממשק אינו פעיל כרגע באופן מיידי.

איך משתמשים

טוענים קובץ וידאו או בוחרים דוגמה מוכנה, ולוחצים על הכפתור לחילוץ התכונות. אחרי שהפרופיל מוצג כקובץ נתונים, שדה הטקסט בתחתית נפתח להקלדה ומשוחחים כרגיל, עם אפשרות לעצור תשובה או לנסח אותה מחדש.

כרגע העמוד מוגדר במצב מושהה על חומרת מעבד בסיסית, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש. במקור הוא נבנה לרוץ על תשתית ZeroGPU, וחלק מהמודלים מוגדרים בקוד כזמינים לחשבונות פרו בלבד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית. לגבי הסרטונים שמועלים והשיחות שנוצרות, הזכויות תלויות בתנאי השימוש של פלטפורמת האחסון ובמקור הווידאו עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗