Sa2VA-simple-demo
רץ בדפדפןfffiloniרישיון לא דווח2025-01-10
מעלים תמונה או וידאו יחד עם הוראה מילולית, ומקבלים תשובה טקסטואלית לצד מקטעים ויזואליים מסומנים. הכלי מתאים למי שרוצה לבדוק זיהוי אובייקטים והבנה חזותית מבוססת שפה בלי לכתוב קוד.
- —הורדות בחודש
- 54לייקים
מה זה
הממשק מציע שתי לשוניות עבודה פשוטות, אחת לתמונות סטילס ואחת לקובצי וידאו. אתם מעלים קובץ, מקלידים הוראה בתיבת הטקסט ומקבלים בחזרה תשובה כתובה לצד התמונה או הווידאו עם מסכות סגמנטציה מלאות על האובייקטים המבוקשים. בווידאו מקבלים גם פלט וידאו עם מסכה וגם גרסה מבודדת, עם אפשרות לקבוע את מרווח הפריימים בין 1 ל־12.
מאחורי הקלעים רץ שילוב של מודלי Sa2VA מבית ByteDance בגרסאות 4B ו־8B, שמחברים בין מודל הסגמנטציה SAM 2 לבין יכולות הראייה והשפה של LLaVA. בנוסף, הקוד כולל שימוש במודלים תומכים כמו Vicuna, CLIP ו־GLaMM כדי לחבר בין הטקסט החופשי שלכם לבין נקודות הציון המדויקות על גבי הפיקסלים.
מתאים ל
- סגמנטציה של אובייקטים בתמונה
מעלים תמונה, מבקשים לסמן פריט מסוים בטקסט חופשי ומקבלים מסכה ויזואלית מדויקת לצד הסבר מילולי קצר.
- מעקב וידאו מונחה שפה
מזינים סרטון ופקודה באנגלית, ומקבלים קובץ וידאו שבו האובייקט המבוקש מבודד ומסומן לאורך כל התנועה שלו.
- בדיקת יכולות Sa2VA
בוחנים ישירות בדפדפן איך השילוב בין מודל השפה ל־SAM 2 מתמודד עם שאלות מורכבות על מדיה חזותית.
איפה זה נופל
בווידאו אתם מוגבלים בבחירת מרווח הפריימים, כך שתנועות מהירות עלולות להתפספס לחלוטין אם המרווח גדול מדי. בנוסף, חומרת ה־A10G החינמית לא בנויה לסרטונים ארוכים ברזולוציה גבוהה ועלולה לקרוס או לזרוק שגיאת זמן ריצה. אין כאן אפשרות לערוך את המסכות שנוצרו או לכוונן את הספים של המודל ישירות מהממשק.
שאלות
נפוצות
האם השימוש בדמו כרוך בתשלום?
הגישה דרך הדפדפן היא חינמית לחלוטין ואינה דורשת הזנת כרטיס אשראי. כל עוד הדף באוויר, אפשר לבדוק תמונות וסרטונים ללא עלות. עם זאת, המשאבים מוגבלים לחומרת שיתופית של Hugging Face.
מה קורה עם הקבצים שמעלים לממשק?
התמונות והסרטונים מעובדים על שרתי הענן שמריצים את הדמו ונשמרים בתיקיות זמניות בזמן החישוב. הקוד עצמו מנטרל מעקב אנליטי מובנה של Gradio, אך המידע עדיין עובר בשרת ציבורי. מומלץ לא להעלות חומרים רגישים או פרטיים.
במה הדמו שונה מהרצת המודל ישירות בקוד?
הממשק חוסך התקנה מקומית מורכבת של ספריות כבדות ומשקלי ענק, אך מגביל את השליטה בפרמטרים הפנימיים. בהרצה עצמאית תוכלו לעבד קבצים בכל אורך ולשלוט לעומק בהגדרות המודל. הדמו מיועד בעיקר לבדיקה מהירה של היכולות.
האם המערכת מבינה עברית?
עדיף לכתוב את ההוראות באנגלית בלבד. מודלי הבסיס אומנו בעיקר על דאטה באנגלית, ולכן פקודות בעברית עלולות להוביל לזיהוי שגוי של האובייקטים או לחוסר הבנה מוחלט. תשובות הטקסט יוחזרו גם הן באנגלית.
איך משתמשים
בוחרים בלשונית של תמונה או וידאו, גוררים את הקובץ פנימה, כותבים מה לחפש או לנתח ולוחצים על Submit. הדמו רץ על מעבד גרפי מסוג Zero-A10G, מה שאומר שהשרת מקצה כוח עיבוד לפי דרישה. ייתכן שתמתינו כמה שניות בתור כשהסביבה מתעוררת, במיוחד בעיבוד וידאו שדורש קריאת פריימים מרובים דרך ספריית OpenCV.
הרישיון
היוצר לא דיווח על רישיון בעמוד הדמו. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקוד של הממשק או בתוצרים, ויש לבדוק את תנאי השימוש של משקלי המודלים המקוריים של ByteDance לפני שעושים בהם שימוש כלשהו.