SmolVLM

מה זה

האפליקציה מקבלת תמונה אחת או יותר וטקסט עם שאלה, ומחזירה תשובה כתובה בהזרמה ישירה. מאחורי הקלעים רץ המודל SmolVLM-Instruct מבית HuggingFaceTB, שמשתמש בספריית transformers ומוגדר כמודל Vision2Seq שנועד לפענח תמונה יחד עם שאלת משתמש.

הממשק מציג דוגמאות מוכנות שכוללות חילוץ תאריכים מתוך חשבונית, הבנת נתונים מתוך דיאגרמת מזג אוויר וקבלת המלצות למטיילים מתוך צילום של מקדש. אפשר לבחור בין דגימת Top P לבין פענוח Greedy, וכן לכוונן פרמטרים נוספים לפני השליחה.

מתאים ל

• קריאת נתונים מחשבוניות

  מעלים צילום חשבונית ומבקשים לחלץ ממנה את מועד הפירעון ואת תאריך החשבונית המדויקים.

• ניתוח תרשימים וגרפים

  מזינים תמונה של דיאגרמה או מפת נתונים ושואלים איפה התרחשו אירועים חריגים לפי המוצג.

• זיהוי אתרים בצילומים

  מעלים תמונה של אתר תיירות ומבקשים טיפים למבקרים על בסיס מה שנראה בפריים.

איפה זה נופל

חובה להכניס שאלת טקסט לצד התמונה, אחרת המערכת זורקת שגיאה. מעבר לכך, המפתחים עצמם מדגישים שהמודל עובד הכי טוב בשיחה של תור אחד בלבד. אם תמשיכו לדבר איתו ברצף בלי לאפס את הצ'אט, התשובות עלולות להתדרדר מהר.

איך משתמשים

גוררים תמונה לתיבת הטקסט, כותבים שאלה ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה מעבד גרפי של אנבידיה לפי דרישה, כך שהתשובה מתחילה לזרום מהר יחסית ברגע שההקצאה פעילה. אין דרישת תשלום ולא צריך להגדיר שום דבר מראש.

הרישיון

הפרויקט והקוד שלו מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. לגבי התמונות שאתם מעלים, הן נשלחות לשרת שמריץ את המודל ב־Hugging Face, ולכן לא מומלץ להעלות מסמכים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗