MotionGPT

מה זה

המערכת מבוססת על המודל bill-jiang/MotionGPT-base יחד עם gpt2 ודגם Whisper לתמלול שמע. הממשק מאפשר להקליד תיאור של פעולה, להקליט הוראה קולית דרך המיקרופון, או להעלות קובץ תנועה קיים.

הפלט שמתקבל כולל אנימציית וידאו בפורמט MP4 להורדה, קובץ נתוני תנועה בפורמט npy, ותיאור מילולי בתוך הצ'אט. הממשק מציג כפתורים לדוגמאות מוכנות מראש של הפיכת טקסט לתנועה, תרגום תנועה לטקסט, ותיאורים אקראיים.

לפי הקוד, תהליך העיבוד מריץ סקריפט רינדור חיצוני שמשתמש במודל SMPL כדי להציג את השלד בתנועה, כאשר ניתן לבחור בין רינדור מהיר בקווי שלד לבין רינדור איטי ומפורט יותר.

מתאים ל

• הפקת תנועה מטקסט

  יצירת קובצי npy ווידאו של שלד אנושי זז על פי תיאור פעולה מילולי באנגלית או בסינית.

• ניתוח תנועה לטקסט

  העלאת נתוני תנועה קיימים וקבלת הסבר מילולי כתוב בצ'אט על הפעולה שמתבצעת בהם.

• הוראת תנועה קולית

  הקלטת הנחיות דיבור דרך המיקרופון לתמלול ב־Whisper ויצירת אנימציה ישירה מהקול.

איפה זה נופל

הבעיה המרכזית כרגע היא סטטוס RUNTIME_ERROR שמשבית לחלוטין את השימוש בהדגמה החיה. בנוסף, הממשק תומך בטקסט באנגלית ובסינית בלבד, כך שאין טעם לנסות להזין תיאורים בעברית. אפשרויות התצוגה המוכנות מראש עשויות להטעות כי הן שולפות תוצרים שמורים, בעוד שחישוב תנועה חדשה ורינדור מלא של מודל SMPL על כרטיס T4 לוקחים משמעותית יותר זמן.

איך משתמשים

בפועל אתם מקלידים הנחיה, בוחרים שפה מבין אנגלית וסינית, ובוחרים שיטת רינדור איטית או מהירה. אם מעלים קובץ תנועה, מבקשים מהצ'אט לנתח את התנועה שבתוכו. חומרת השרת הרשומה היא מעבד גרפי מסוג t4-small. נכון לעכשיו אי אפשר להריץ אותה בדפדפן מפני שהיא נמצאת במצב שגיאת ריצה, כך שלחיצה על כפתורי השליחה לא תניב תוצאה עד שהמפתח יתקן את ההרצה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, העתקה, שינוי ושילוב בקוד מסחרי או פרטי. הרישיון חל על קוד המקור, אך השימוש בתוכן ובקבצים שמעלים תלוי גם ברישיונות של המודלים המוטמעים עצמם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗