Generate_human_motion

מה זה

הכלי מקבל תיאור טקסטואלי קצר של תנועה בשפה האנגלית, לצד בחירה בין שתי מהירויות עיבוד, איטית או מהירה. הפלט שמתקבל בסוף התהליך הוא סרטון וידאו שמציג דמות תלת ממדית מופשטת שמבצעת את התנועה המבוקשת במרחב.

מאחורי הקלעים רץ המודל T2M-GPT, שמשלב בין CLIP להבנת הטקסט, מודל שפה מסוג GPT, ורכיב VQ-VAE שמפרק ומרכיב מחדש את תנועות השלד האנושי. הרינדור עצמו מתבצע באמצעות ספריות גרפיקה כמו pyrender ו־OpenGL שהופכות את נתוני המפרקים והסיבובים לקובץ וידאו נצפה דרך moviepy.

הממשק כולל דוגמאות מובנות שנשמרו מראש כדי להציג את היכולות של המערכת בלי להמתין לעיבוד מלא של כל בקשה מאפס.

מתאים ל

• בדיקת תנועות לאנימציה

  קבלת תצוגה מקדימה מהירה של תנועות אנושיות מורכבות מתוך פקודת טקסט לפני הפקה.

• ניסוי ביכולות המודל

  בחינה של שילוב VQ-VAE ו־GPT ביצירת תנועה תלת ממדית ישירות מתוך הדפדפן.

• השוואת זמני רינדור

  בדיקת ההבדלים באיכות ובמהירות בין שני מצבי היצירה שמציע המודל.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין. האפליקציה נמצאת במצב שגיאת בנייה ולא עולה בדפדפן, כך שאי אפשר להשתמש בה בפועל באתר. מעבר לכך, הקוד מתבסס על מודלים שאומנו על טקסט באנגלית בלבד, כך שאין טעם לנסות להזין תיאורים בעברית.

בנוסף, הפלט מוגבל לסרטון וידאו סגור שמציג את הרינדור, ולא מייצא קובצי שלד או אנימציה גולמיים לעבודה בתוכנות תלת ממד כמו בלנדר.

איך משתמשים

בפועל אתם מקלידים משפט בתיבת הטקסט, בוחרים בתפריט בין מצב איטי למצב מהיר, ולוחצים על כפתור הייצור כדי להפעיל את העיבוד. אם לא רוצים להקליד, אפשר פשוט לבחור באחת מהדוגמאות המוכנות שנמצאות בעמוד ולראות את הפלט מיד.

הקוד מוגדר לרוץ על חומרת מעבד גרפי מסוג t4-small, שאמורה לספק מהירות עיבוד סבירה לרינדור תלת ממדי של וידאו. עם זאת, אין צורך בחשבון או בהתחברות כדי לגשת לממשק, אך כרגע העמוד מדווח על שגיאת בנייה ולכן אי אפשר להריץ בו פקודות ישירות בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו ושימוש מסחרי לפי תנאי הרישיון. לגבי תוכן שמועלה או נוצר, ברישיון זה הזכויות נשארות שלכם, אך כדאי לבדוק את תנאי השימוש של פלטפורמת האחסון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗