SmolVLM-256M-Demo

מה זה

מעלים תמונה אחת או יותר לתיבת השיחה, מקלידים שאלה באנגלית, ומקבלים פלט טקסט שנוצר בזמן אמת. הקוד מחייב להזין שאלת טקסט גם אם צירפתם קובץ, כך שאי אפשר פשוט לזרוק פנימה תמונה ולצפות לתיאור אוטומטי בלי הנחיה ברורה.

מאחורי הקלעים רץ המודל SmolVLM-Instruct-250M של HuggingFaceTB, שנטען באמצעות ספריית transformers עם מעבד ייעודי למשימות ראייה לטקסט. הדוגמה המובנית בממשק כוללת תרשים של אירועי מזג אוויר ושאלה על מיקומי בצורת חמורה, מה שמכוון ישירות לבדיקת היכולת שלו לחלץ מידע מתוך דיאגרמות ותרשימים פשוטים.

מתאים ל

• קריאת תרשימים ודיאגרמות

  מעלים איור או גרף ושואלים היכן מופיע נתון מסוים כדי לבדוק דיוק חזותי.

• בדיקת יכולות של מודל קל

  בוחנים איך ארכיטקטורה של 250M מתמודדת עם זיהוי אובייקטים לפני שמורידים אותה.

• השוואת מספר תמונות

  מצרפים כמה קבצים בבת אחת ושואלים שאלה שדורשת התייחסות לכולם יחד.

איפה זה נופל

הממשק בנוי כצ'אט, אבל התיעוד והקוד מבהירים במפורש שהוא לא שומר היסטוריה. כל הודעה מתחילה שיחה חדשה לגמרי, כך שאי אפשר לשאול שאלות המשך או לתקן את התשובה הקודמת. מעבר לזה, מדובר במודל של כרבע מיליארד פרמטרים בלבד, אז לא כדאי לבנות על ניתוח מסמכים מורכבים או קריאת טקסט צפוף מאוד.

איך משתמשים

נכנסים לעמוד, גוררים תמונות לתיבת הקלט, כותבים שאלה ולוחצים על שליחה. יש כפתור עצירה שמאפשר לקטוע את יצירת התשובה באמצע אם רואים שהכיוון שגוי. ההדגמה רצה על גבי מעבד גרפי A10G בתשתית Spaces, ולכן העיבוד מתחיל כמעט מיד ומזרים את הטקסט במהירות בלי המתנה ארוכה בתור.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד ובמודל גם לצרכים מסחריים. הקבצים שאתם מעלים עוברים דרך השרת של Hugging Face לצורך הפעלת המודל בלבד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗