4M

מה זה

אתם מעלים תמונת צבע רגילה ומקבלים גלריית תוצאות שמציגה ניבויים שונים שנגזרים ממנה. המערך מבוסס על המודל 4M-21_XL של EPFL-VILAB, שמשתמש בארכיטקטורת Massively Multimodal Masked Modeling כדי לחבר בין ייצוגים שונים של אותו קלט חזותי.

הממשק כולל שש תמונות מובנות מראש להרצה מהירה, ומאפשר לבחור אילו מודליות יעד תרצו שהמודל יחשב. מתחת למכסה המנוע הקוד טוען סמפלר ייעודי של 4M ומשתמש בחיתוך מרכזי של הקלט כדי להתאים אותו לדרישות העיבוד.

בנוסף לבחירת המודליות, אפשר לשלוט על פרמטרי הדגימה כמו Top-p שמוגדר כברירת מחדל על 0.8, Top-k שמתחיל באפס, ומספר סיד קבוע או אקראי. כל התוצאות מוחזרות בתצוגת גלריה אחת שמרכזת את כל הפלטים החזותיים שנוצרו.

מתאים ל

• חילוץ מודליות מתמונה

  הפקת נתונים חזותיים נלווים מתוך תמונת צבע יחידה בבדיקה מהירה בדפדפן.

• בדיקת איכות של 4M

  בחינת הביצועים של מודל ה־XL על דוגמאות מובנות או קבצים עצמאיים לפני הטמעה.

• השוואת פרמטרי דגימה

  משחק עם ערכי Top-p וסיד שונים כדי לראות איך הם משפיעים על יציבות הניבויים.

איפה זה נופל

ההדגמה הזו מוגבלת לקלט של תמונת RGB בלבד, למרות שהמודל המקורי בנוי לעבודה רב כיוונית מכל מודליות לכל מודליות. בנוסף, הקוד מבצע חיתוך מרכזי לתמונה לפני העיבוד, מה שעלול להשמיט פרטים חשובים שנמצאים בשוליים. אם תרצו להזין נתונים אחרים כמו עומק או טקסט כקלט ראשוני, לא תוכלו לעשות את זה כאן ותצטרכו לעבור למחברת הקוד הרשמית של הפרויקט.

איך משתמשים

טוענים תמונה מהמחשב או בוחרים באחת משש הדוגמאות המוכנות, ולוחצים על כפתור החיזוי שמפעיל את 4M-21 XL. אם רוצים לדייק את הפלט, פותחים את תפריט ההגדרות המתקדמות ומשנים את ערכי הסיד, Top-p או המודליות המבוקשות. העמוד יושב על חומרת zero-a10g של האגינג פייס ונמצא במצב שינה כברירת מחדל, כך שבהפעלה הראשונה צריך להמתין כמה שניות או דקות עד שהשרת מתעורר וטוען את המודל לזיכרון. אין צורך בחשבון בתשלום כדי להריץ את ההדגמה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד כולל שינויים והפצה מסחרית בכפוף לתנאי הרישיון. התמונות שאתם מעלים והפלטים שנוצרים מעובדים דרך התשתית של האגינג פייס לפי תנאי השימוש של האתר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗