ardy

מה זה

אתם כותבים תיאור טקסטואלי של פעולה, כמו אדם שהולך במעגל, ובוחרים מודל של שלד אנושי עם 27 מפרקים בקצב של 20 פריימים לשנייה, או שלד של רובוט Unitree G1 עם 34 מפרקים בקצב של 25 פריימים לשנייה. הפלט מופיע בתוך נגן תלת ממדי מבוסס Three.js, ומאפשר לסובב את המצלמה, לעצור, להריץ קדימה ואחורה, לשנות מהירות ולראות את מסלול התנועה על הרצפה.

מאחורי הקלעים רץ המודל ARDY של אנבידיה שמשלב דיפוזיה עם תהליך אוטורגרסיבי, לצד מקודד טקסט מסוג LLM2Vec שמבוסס על Llama 3 8B. הממשק שומר את מצב הרצף האחרון, כך שאפשר לא רק לייצר תנועה ראשונית אלא גם להמשיך אותה ברצף עם פרומפט נוסף.

מתאים ל

• אב טיפוס לתנועת דמויות

  בדיקה מהירה של רעיונות לכוריאוגרפיה ותנועה בסיסית של דמויות לפני מעבר לתוכנות תלת ממד ייעודיות.

• תכנון תנועה לרובוט G1

  הדמיית מסלולי תנועה לשלד של רובוט Unitree G1 בעל 34 מפרקים ישירות מתוך הנחיות טקסט.

• מחקר גנרטיבי של תנועה

  בחינת יכולות המודל של אנבידיה ויצירת רצפי תנועה מתמשכים באמצעות שרשור פרומפטים.

איפה זה נופל

ההדגמה הזו מריצה את המודל באופן ישיר בלי שלב עיבוד משלים של Foot skate cleanup שמנקה החלקות של כפות הרגליים, בגלל היעדר הרחבת C++ מקומפלת בשרת. התוצאה היא שכפות הרגליים עשויות להחליק על המשטח במקום לדרוך בצורה יציבה, ואי אפשר להסתמך על התנועה הזו כמוצר גמור בלי ניקוי ידני או עיבוד נוסף בתוכנת אנימציה.

איך משתמשים

בוחרים את סוג השלד, מקלידים פרומפט ולוחצים על כפתור Generate. תחת הגדרות מתקדמות אפשר לקבוע משך בין שנייה אחת לעשר שניות, צעדי דיפוזיה, עוצמת הנחיית טקסט וסיד. האפליקציה רצה על חומרת ZeroGPU מסוג A10G, כך שהעיבוד מהיר, אך בשעות עומס ייתכן שתמתינו בתור קצר להקצאת המעבד הגרפי.

הרישיון

הרישיון לא דווח במאגר של האפליקציה. כשהרישיון חסר, אין אישור מפורש לשימוש מסחרי בקוד או בתוצרים, ומומלץ להתייחס לפרויקט כהדגמת מחקר בלבד.

הרישיון המלא ב־Hugging Face ↗