GPT
הוספת כלי
M

MoonViT-SO-400M

קוד פתוח

moonshotaimit2025-04-10

  • transformers
  • safetensors
  • moonvit
  • image-feature-extraction
  • custom_code

אנקודר ראייה שמנתח תמונות ברזולוציה המקורית שלהן. הוא מתאים למי שבונה חיפוש ויזואלי או מודל מולטימודלי ורוצה לחסוך עיוותים שמגיעים עם חיתוך תמונה קבוע.

  • 417Mפרמטרים
  • 796 MBמשקל הקבצים
  • 2,054הורדות בחודש
  • 95לייקים

מה זה

מדובר באנקודר של תמונות שחולץ מתוך מודל Kimi-VL-A3B-Instruct כדי שאפשר יהיה לעבוד איתו בנפרד. הוא התחיל ממשקלים של SigLIP-SO-400M ועבר אימון מקדים המשכי. המטרה המרכזית שלו היא חילוץ וקטורים ותכונות מתמונות, בלי להכריח אתכם להריץ מודל שפה שלם ברקע רק כדי להבין מה רואים בפריים.

במקום לעוות תמונות לגודל ריבועי אחיד כמו אנקודרים סטנדרטיים, הוא עובד ברזולוציה טבעית ומקבל רשת גדלים מותאמת. הפלט שלו מחזיר וקטורים שמייצגים את חלקי התמונה במבנה מדויק. זה רלוונטי למי שצריך תיאור ויזואלי עמוק ולא רוצה לאבד פרטים קטנים שנופלים בדרך כלל בהקטנה של קבצים.

מתאים ל

  • חיפוש תמונות לפי דמיון

    מחלצים וקטורים מקטלוג מוצרים כדי לאתר פריטים דומים בלי לכווץ אותם לגודל אחיד.

  • בניית מודל מולטימודלי

    חיבור האנקודר כבסיס ראייה למודל שפה קיים שזקוק להבנת תמונות חדה.

  • סינון וסיווג תכנים

    זיהוי תבניות ויזואליות במערכות פנימיות על ידי השוואת וקטורים למאגר קיים.

איפה זה נופל

זה רק אנקודר, לא מודל שמייצר טקסט או עונה על שאלות. הוא מוציא וקטורים גולמיים בלבד ולא יודע לנהל שיחה. בנוסף, חובה להפעיל trust_remote_code כדי להריץ את הקוד, מה שמחייב לבדוק את הסקריפטים לפני שמריצים אותם בסביבת ייצור רגישה.

שאלות
נפוצות

האם המודל יודע לתאר תמונה בעברית או בכל שפה אחרת?

לא. מדובר ברכיב שמחלץ מאפיינים מספריים בלבד. בשביל לקבל תיאור טקסטואלי צריך לחבר אותו למודל שפה שלם.

האם אפשר להריץ אותו בלי כרטיס מסך ייעודי?

אפשר, המודל שוקל פחות מגיגה בייט ויעבוד גם על מעבד רגיל, אבל החישוב של חלקי התמונה יהיה איטי בהרבה בהשוואה לכרטיס מסך בסיסי.

איך מריצים

טוענים אותו ישירות מספריית transformers בעזרת AutoModel ודורשים להפעיל קוד מרוחק. המשקל שלו עומד על 796 מגה בייט בפורמט bfloat16, כך שאין צורך בשרת מפלצתי. כל כרטיס מסך ביתי צנוע עם גיגה בייט או שניים של זיכרון פנוי יריץ אותו בקלות.

אם אתם רק צריכים וקטורים מתמונות בלי תלות ברשת חיצונית, אין שום סיבה לשלם על API מסחרי. ההרצה המקומית תהיה זולה ומהירה יותר, במיוחד כשרוצים לשלוט בתהליך העיבוד מול המעבד הגרפי שלכם.

from transformers import pipeline

pipe = pipeline("image-feature-extraction", model="moonshotai/MoonViT-SO-400M")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 796 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי מלא, שינוי הקוד והפצה של המודל בתוך מוצרים סגורים. הדרישה היחידה היא לשמור על הקרדיט והצהרת הרישיון המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗