GPT
הוספת כלי
M

MambaVision-T-1K

קוד פתוח

nvidiaother2024-07-14

  • transformers
  • safetensors
  • mambavision
  • image-classification
  • image-feature-extraction

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

ארכיטקטורה היברידית שלוקחת את היעילות של ממבה ומשלבת אותה עם שכבות קשב של טרנספורמר. זה נותן סיווג תמונות מהיר עם צריכת משאבים נמוכה.

  • 32Mפרמטרים
  • 485 MBמשקל הקבצים
  • 6,413הורדות בחודש
  • 43לייקים

מה זה

אנבידיה בנתה כאן שילוב בין בלוקים של ממבה, שעברו התאמה לעיבוד חזותי, לבין שכבות self-attention של טרנספורמר בסוף הרשת. הרעיון הוא לתפוס תלויות מרחביות ארוכות טווח בלי לשלם את מלוא המחיר החישובי שטרנספורמר רגיל דורש על כל פיקסל.

המבנה ההיררכי הזה מיועד לסיווג תמונות ומגיע כמשקל קל עם 32 מיליון פרמטרים. לפי הבדיקות של אנבידיה, השילוב הזה מייצר יחס דיוק מול תפוקה שמציב אותו בחזית הביצועים מול חלופות קיימות, כך שמקבלים סיווג מהיר בלי לאבד חדות בזיהוי.

חוץ מסיווג ישיר, אפשר להשתמש בו גם כחלף תכונות כללי. הוא מאפשר לחלץ מאפיינים מארבעת השלבים השונים של הרשת או לקחת את הווקטור המפולט הסופי למשימות ראייה אחרות.

מתאים ל

  • סיווג תמונות בקצה

    הוא שוקל פחות מחצי גיגה ורץ מהר בזכות ממבה, מה שמתאים לחומרה מוגבלת במחקר.

  • חילוץ וקטורים למנועי חיפוש

    הוא מציע גישה נוחה למאפיינים בארבעה שלבים שונים, מצוין לשליפת תכונות חזותיות.

  • מחקר על ארכיטקטורות ראייה

    מתאים למי שרוצה לבחון את השילוב המעשי בין מודלי מצב לטרנספורמרים בלי משאבי עתק.

איפה זה נופל

הכרטיס מציג רק משימות של סיווג תמונות או חילוץ תכונות, ולא מעבר לזה. הוא לא מתאים למשימות כמו זיהוי מקטעים או מציאת מיקום אובייקטים בלי שתאמנו עליו ראש ייעודי בעצמכם.

צריך לבדוק איך הארכיטקטורה הזו מתנהגת על תמונות ברזולוציות לא סטנדרטיות או מחוץ לסט הנתונים הרגיל, כי השילוב של ממבה עם טרנספורמר עדיין דורש תלויות קוד ספציפיות כמו חבילת mambavision.

שאלות
נפוצות

אפשר להטמיע אותו במערכת מסחרית של החברה?

לא. הרישיון של אנבידיה מסומן בפירוש כ־NC, כלומר לשימוש לא מסחרי בלבד. למוצר פנימי מחקרי זה יעבוד, אבל לא לאפליקציה שנמכרת בחוץ.

האם חייבים GPU של אנבידיה כדי להריץ אותו?

הוא קטן מספיק בשביל לרוץ גם על מעבדים רגילים, אבל יירוץ הרבה יותר מהר על GPU. ההתקנה דורשת את חבילת mambavision שהותאמה לארכיטקטורה הזו.

איך מריצים

המשקל הכולל של הקבצים עומד על 485 מגה בייט, מה שאומר שלא צריך מפלצת חישובית כדי להריץ אותו. כל מעבד גרפי מודרני צנוע, ואפילו מעבד מרכזי רגיל, יכולים להתמודד איתו בלי בעיה של זיכרון.

מריצים אותו ישירות דרך ספריית mambavision הייעודית או דרך transformers. בשביל גודל כזה של 32 מיליון פרמטרים אין שום היגיון לשלם ל־API חיצוני, עדיף להחזיק אותו מקומית על השרת שלכם ולחסוך זמני השהיה ברשת.

from transformers import pipeline

pipe = pipeline("image-classification", model="nvidia/MambaVision-T-1K")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 485 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת NVIDIA Source Code License-NC. האותיות NC אומרות הכול, מדובר בשימוש לא מסחרי בלבד. אם אתם בונים מוצר שנועד לייצר הכנסה או מוכרים גישה אליו ללקוחות, אתם לא יכולים להשתמש בקבצים האלה בלי להסתכן בהפרת זכויות של אנבידיה.

הרישיון המלא בעמוד המודל ↗