SenseNova-Vision-7B-MoT

מה זה

בניגוד למערכות ראייה מסורתיות שמרכיבות ראש ייעודי לכל משימה, כאן הופכים את כל פעולות הראייה ליצירה מולטימודלית. מזינים הוראה בטקסט ולעיתים פרומפט חזותי, והמודל מחזיר קואורדינטות בטקסט למשימות זיהוי ומיקום, או מפות צבע לחישובי עומק, כיווני משטח ומסכות סגמנטציה.

במדדי זיהוי אובייקטים וטקסט כמו COCO ו־ICDAR15 הוא מציג תוצאות טובות יותר מדגמים כלליים מתחרים, אך במשימות מסוימות כמו הבנת ממשקי משתמש ב־ScreenSpot-V2 מודלים אחרים משיגים דיוק גבוה ממנו. הוא שומר על יכולות מולטימודליות כלליות, אך מיועד בעיקר לחישובי גיאומטריה וראייה מובנית.

מתאים ל

• הערכת עומק וכיוון משטחים

  הוא מחזיר מפות עומק ונורמלים מתוך תמונה בודדת בלי להזדקק למודל ייעודי נפרד.

• סגמנטציה לפי הוראות טקסט

  יודע לקבל הנחיה מילולית ולייצר מסכת בידוד מדויקת לאובייקט המבוקש.

• שחזור גיאומטרי מתמונות מרובות

  מייצר ענני נקודות ומחשב זוויות מצלמה מכמה זוויות צילום שונות של אותה סצנה.

איפה זה נופל

המודל לא מנצח מודלים ייעודיים בכל תחום, ובמשימות ספציפיות כמו סגמנטציה פנאופטית הוא מפגר אחרי כלים ממוקדים. מעבר לכך, הפלטים שלו דורשים פענוח מותאם אישית לפי קונבנציות המפתח, כך שהתשובה אינה תמיד מבנה נתונים מיידי. הדיוק המטרי בחישובי עומק ומצלמה אינו מובטח, והמודל רגיש מאוד לניסוח ההוראה ולסגנון הפרומפט שמוזן אליו.

איך מריצים

המודל שוקל 27.6 גיגה-בייט ורץ דרך הריפו הרשמי בגיטהאב באמצעות סקריפטים מובנים וסביבת קונדה ייעודית. כדי להעלות אותו לזיכרון בפורמט המקורי בלי קוונטיזציה תצטרכו כרטיס מסך של לפחות 32 גיגה-בייט זיכרון גרפי, או שני כרטיסים קטנים יותר במקביל.

הריצה המקומית דורשת שימוש בסקריפט מעטפת ומפענחים שממירים את הפלטים חזרה למסכות או לקואורדינטות. אם כל מה שאתם צריכים זו קריאה בסיסית של טקסט או סגמנטציה נקודתית, קריאת API פשוטה מול שירות ענן ייעודי תחסוך לכם תחזוקת תשתית כבדה.

pip install -U huggingface_hub
hf download sensenova/SenseNova-Vision-7B-MoT

הקבצים

18 קבצים במאגר, 27.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ema.safetensors29.2 GB
• ae.safetensors335.3 MB
• assets/fig1_one_case_for_all.webp10.5 MB
• tokenizer.json9.3 MB
• assets/fig3_training_data.png4.4 MB
• vocab.json3.7 MB
• assets/fig4_sensenova_vision_results.webp3.5 MB
• merges.txt1.7 MB
• tokenizer_config.json478.5 KB
• assets/fig2_system_overview.webp281.0 KB
• README.md24.6 KB
• README_CN.md23.2 KB
• .gitattributes1.8 KB
• config.json680 B
• llm_config.json663 B
• LICENSE337 B
• generation_config.json243 B
• vit_config.json205 B

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאומר שמותר להשתמש במודל, לשנות אותו ולחקור אותו לצרכים אישיים ומחקריים בלבד. שימוש מסחרי מכל סוג אסור לחלוטין, כך שלא תוכלו לשלב אותו במוצר שמניב הכנסות או בפעילות עסקית שוטפת בלי להסדיר רישוי אחר מול היוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗