GPT
T

TMR

רץ בדפדפן

Mathuxרישיון לא דווח2023-04-13

  • gradio

מזינים תיאור טקסטואלי באנגלית ומקבלים סרטוני תנועה תלת-ממדיים שתואמים לבקשה. הדגמה המיועדת לחוקרים ומפתחים שרוצים לבדוק אחזור תנועות אנושיות מתוך מאגר קיים.

  • הורדות בחודש
  • 89לייקים

מה זה

כותבים משפט שמתאר תנועה בתיבת הטקסט, בוחרים כמה סרטונים להציג ואיזה פיצול נתונים לחפש בו, ולוחצים על שליפה. בתגובה מופיעים סרטונים קצרים שרצים בלולאה ומציגים שלד תלת-ממדי שמבצע את הפעולה.

מאחורי הקלעים רץ המודל distilbert-base-uncased לעיבוד הטקסט, יחד עם קוד שטוען וקטורי שיכון מוכנים מראש של תנועות. במקום לייצר אנימציה חדשה מאפס, הכלי מחשב התאמה בין הטקסט לבין מאגר קיים ושולף את הקטעים הקרובים ביותר.

הממשק כולל רשימה של עשרים דוגמאות טקסט מוכנות בכל עמוד. לחיצה עליהן ממלאת את השדה ומציגה את תוצאות הווידאו שהותאמו להן.

מתאים ל

  • אחזור תנועות לפי תיאור

    מציאת קטעי תנועה מוגדרים מראש על ידי הקלדת פעולה באנגלית פשוטה.

  • בדיקת התאמת טקסט לתנועה

    בחינה של איכות השליפה מול דוגמאות הטקסט המוכנות בממשק.

  • השוואת חלוקות מידע

    בדיקת ביצועי המודל על פני פיצולים שונים של נתוני התנועה.

איפה זה נופל

הכלי לא מייצר תנועה חדשה ולא יוצר קובצי אנימציה להורדה, אלא רק מציג סרטוני הדגמה מתוך מאגר מוגדר מראש. המודל מבוסס על DistilBERT באנגלית באותיות קטנות, כך שחיפוש בעברית או בשגיאות כתיב לא יניב תוצאות נכונות. אם תיאור התנועה מורכב מדי ולא מופיע במאגר הקיים, תקבלו את הסרטון הכי פחות רחוק, גם אם הוא לא מתאים בכלל.

שאלות
נפוצות

האם השימוש עולה כסף?

לא, הגישה בדפדפן פתוחה לגמרי ללא תשלום. אין צורך בחשבון או בהזנת כרטיס אשראי כדי להריץ שאילתות.

מה קורה עם הטקסט שאני מקליד?

הטקסט נשלח לשרת שבו רץ הממשק כדי לייצר את וקטור ההתאמה ולשלוף את הווידאו. לא מעלים כאן קבצים אישיים, אלא רק שורות תיאור קצרות.

אפשר להריץ את זה מקומית על המחשב שלי?

הקוד בנוי בספריית Gradio וטוען קבצים דרך gdown, כך שטכנית אפשר להריץ אותו אם מורידים את הקוד ומתקינים את הספריות הנדרשות. עם זאת, צריך לוודא שיש גישה לכל קובצי המשקולות והנתונים שהקוד מושך בהפעלה.

במה זה שונה ממודלים שמייצרים תנועה?

מנועי יצירה מרנדרים שלד תלת-ממדי חדש לגמרי על סמך הטקסט שלכם. כאן מדובר במנוע חיפוש בלבד, שלוקח טקסט ומוצא את סרטון התנועה הכי קרוב שיוצר ואוחסן מראש.

איך משתמשים

נכנסים ישירות בדפדפן בלי צורך להירשם או להתחבר. מקלידים תיאור או בוחרים דוגמה, קובעים את כמות הסרטונים ולוחצים על Retrieve. ההדגמה רצה על שרת בסיסי של מעבד בלבד ללא מאיץ גרפי, אבל מאחר שמדובר בעיקר בחיפוש מול וקטורים שמורים וטעינת קובצי וידאו, השליפה לא דורשת חישובים כבדים.

הרישיון

הרישיון לא דווח במאגר. במצב כזה אין הרשאה ברורה להשתמש בקוד, במודל או בסרטונים שמוצגים לצרכים מסחריים, ומוטב להתייחס לזה כהדגמת מחקר בלבד.

הרישיון המלא ב־Hugging Face ↗