wham

קוד פתוח

microsoftרישיון לא דווח2025-02-11

wham
microsoft
en

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל עולם שמייצר סרטוני משחקיות ופעולות שלט במקביל. הוא מיועד לחוקרים שרוצים לבדוק סימולציית סביבה אינטראקטיבית מתוך נתוני משחק תלת ממדי.

22.7 GBמשקל הקבצים
135הורדות בחודש
272לייקים

מה זה

מיקרוסופט אימנו את המודל מאפס על נתוני המשחק Bleeding Edge, שכללו מעל מיליארד צמדי תמונה ופעולה של שחקנים אנושיים לאורך שנה שלמה. הארכיטקטורה משלבת מודל VQ-GAN שמקודד את התמונות לייצוג בדיד, יחד עם רשת טרנספורמר שמנחשת את הטוקן הבא. השילוב הזה מאפשר לו לעבוד כמודל עולם שמייצר תמונה לפי לחיצות בשלט, כמדיניות התנהגות שמנחשת פעולות לפי תמונה, או כמנוע שמייצר את שניהם יחד ברצף.

הוא מגיע בשני גדלים, 200 מיליון פרמטרים ו־1.6 מיליארד פרמטרים. ההבדל המרכזי מול מודלי וידאו כלליים הוא היכולת ללמוד חוקיות תלת ממדית של עולם המשחק והשפעה פיזית של לחיצות בקרי שליטה, במקום לייצר רק תנועה שנראית סבירה בעין.

מתאים ל

מחקר מודלי עולם
בדיקת יכולת של רשתות ללמוד חוקי פיזיקה ופעולות שלט מתוך מיליארד דגימות של שחקנים אנושיים.
סימולציית בוטים
חיזוי פעולות בקר של שחקן על בסיס תמונות משחק קודמות במצב של מדיניות התנהגות.
בדיקת קונספטים
יצירת רצפי משחקיות מתוך תמונות פתיחה לצורך בחינת רעיונות עיצוביים בסביבה תלת ממדית.

איפה זה נופל

הבעיה המרכזית היא קיבוע מוחלט לעולם של Bleeding Edge. כל קלט שלא שייך למשחק הזה מתפרק לגושי צבע לא מזוהים או מתעוות בכוח לדמויות מהמשחק. הרזולוציה מקובעת לגודל נמוך של 300 על 180 פיקסלים בלבד. אורך ההקשר מוגבל לעשר שניות, וזמני החישוב לא מאפשרים הפעלה אינטראקטיבית בזמן אמת.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה כדי לדמות משחק אחר?

לא. המודל אומן אך ורק על המשחק Bleeding Edge. הזנת תמונות ממקורות אחרים גורמת לפלט להפוך לכתמי צבע או לעיוותים שנראים כמו דמויות המשחק המקורי.

האם המערכת מסוגלת לרוץ בזמן אמת כמו מנוע משחק?

ההסקה איטית מדי למשחק פעיל. הפקת רצף ראשוני לוקחת מספר דקות על כרטיס A6000, ועיבוד נתונים מלא לוקח שעות.

איך מריצים

המשקלים שוחררו בגרסת 200M השוקלת 3.7 גיגה בייט ובגרסת 1.6B השוקלת 18.9 גיגה בייט. להרצה מקומית של המודל הקטן מספיק כרטיס בודד כמו GeForce GTX 1080 או A6000 שלוקח כ־4.5 גיגה בייט של זיכרון מסך בסיסי. בשביל המודל הגדול של 1.6 מיליארד תצטרכו שרת ייעודי, כאשר הבדיקות של החוקרים רצו על ארבעה כרטיסי A6000 כדי להחזיק את שרת ההסקה.

קוד המקור מריץ סקריפט הסקה בסיסי בפייתון 3.9 שמייצר קובצי וידאו של תהליך היצירה, או שרת פנימי בפורט 5000 שמתחבר לאפליקציית הדגמה בחלונות. מי שמחפש זמן תגובה מיידי למשחק חי יגלה שהמודל איטי מדי, והפקת רצפים מרובים לוקחת שעות ארוכות.

pip install -U huggingface_hub
hf download microsoft/wham

הקבצים

109 קבצים במאגר, 22.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מוגדר תחת רישיון המחקר של מיקרוסופט ומיועד לצרכים אקדמיים בלבד. שימוש מסחרי מחוץ למחקר אסור לחלוטין. בנוסף, כל תמונה שנוצרת כוללת חותמת מים ונתוני מקור שאסור להסיר לפי תנאי השימוש.

הרישיון המלא בעמוד המודל ↗