Kimodo-SOMA-RP-v1

מה זה

המודל מייצר תנועות גוף תלת-ממדיות בפורמט של שלד SOMA בעל 30 מפרקים, על בסיס טקסט ואילוצי מיקום. המבנה שלו מבוסס על מודל דיפוזיה עם טרנספורמר דו-שלבי, שאומן על 700 שעות של לכידת תנועה ממאגר הנתונים הקנייני Bones Rigplay יחד עם פחות ממיליארד טוקנים של טקסט.

בניגוד למודלים שמסתפקים בטקסט בלבד, כאן אפשר להזין אילוצי תנועה ספציפיים כמו נקודות ציון, נתיבי הליכה, כיוון מבט וסיבובי מפרקים לאורך ציר הזמן. הפלט כולל תנועת שורש במרחב וסיבובי מפרקים בקצב של 30 פריימים לשנייה, עד לאורך מרבי של 10 שניות.

מתאים ל

• אנימציה למשחקי מחשב

  יצירת קטעי תנועה קצרים של הליכה, קרבות ומחוות לשלד של 30 מפרקים.

• הדגמות לרובוטים אנושיים

  בניית מסלולי תנועה ופוזות עבור אימון וסימולציה של רובוטים דמויי אדם.

• תנועה לדמויות דיגיטליות

  הפקת מידע סינתטי ותנועות אנושיות ריאליסטיות לסימולציות תעשייתיות.

איפה זה נופל

האנימציה מוגבלת לעשר שניות בלבד, שהן 300 פריימים, ונוצרת אך ורק עבור דמות בודדת על שלד SOMA הספציפי. המודל מייצר תנועה במרחב ריק ואינו מודע לעצמים, קירות או מכשולים בסביבה, כך שהוא לא יודע להתיישב על כיסא או להרים חפץ.

קיימת בעיה של החלקת רגליים על הקרקע בזמן דריכה, והוא אינו מסוגל לייצר תנועות קריקטוריסטיות או תנועות שסותרות את הפיזיקה האנושית. בנוסף, הוא מתמקד בעיקר בהליכה, מחול, לחימה ומחוות יומיומיות, ולא תמיד עוקב באופן מושלם אחרי כל הנחיה טקסטואלית.

אותה משפחה

Kimodo-SOMA-RP יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 1.1 ג'יגה-בייט בלבד ורץ בסביבת PyTorch מעל חלונות או לינוקס. אנבידיה בדקה אותו על מגוון כרטיסים בארכיטקטורות Ampere, Lovelace ו־Blackwell, החל מכרטיסי RTX 3090, RTX 4090 ו־RTX 5090 ביתיים ועד לכרטיסי שרת דוגמת A100, L4 ו־L40S.

בזכות הגודל הצנוע, אפשר לטעון ולהריץ אותו מקומית על כמעט כל כרטיס מודרני בלי להזדקק לשרתים יקרים או לחכות בתור של שירותי צד שלישי.

pip install -U huggingface_hub
hf download nvidia/Kimodo-SOMA-RP-v1

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.1 GB
• README.md12.3 KB
• LICENSE10.2 KB
• stats/motion/body/mean.npy3.0 KB
• stats/motion/body/std.npy3.0 KB
• .gitattributes1.5 KB
• config.yaml675 B
• stats/motion/global_root/mean.npy168 B
• stats/motion/global_root/std.npy168 B
• stats/motion/local_root/mean.npy160 B
• stats/motion/local_root/std.npy160 B

הרישיון

הפרויקט מופץ תחת רישיון NVIDIA Open Model License ומוגדר בכרטיס כמוכן לשימוש מסחרי. עם זאת, זהו רישיון ייעודי של החברה ולא רישיון קוד פתוח סטנדרטי דוגמת MIT או Apache, לכן חובה לבדוק את תנאי השימוש המדויקים של אנבידיה לפני שילוב שלו במוצר מסחרי סגור.

הרישיון המלא בעמוד המודל ↗