GPT
Q

MaziyarPanahi/Qwen2-VL-2B

רץ בדפדפן

MaziyarPanahimit2024-08-29

  • gradio

ממשק פשוט שמאפשר לשאול שאלות על תמונות או סרטוני וידאו ולקבל תשובה בטקסט. הוא מתאים למי שרוצה לבדוק יכולות ראייה ממוחשבת בסיסיות ישירות בדפדפן בלי לכתוב שורת קוד אחת.

  • הורדות בחודש
  • 89לייקים

מה זה

אתם מעלים קובץ מדיה של תמונה או וידאו דרך תיבת הקבצים, מקלידים שאלה בשדה הטקסט, ומקבלים ניתוח כתוב בצד השני של המסך. הממשק נשען על קוד Gradio בסיסי שמזרים את התשובה כטקסט שנוצר בזמן אמת, בלי שכבות מיותרות של עיצוב או אפשרויות הגדרה מורכבות.

מאחורי הקלעים רץ המודל Qwen2-VL-2B-Instruct של עליבאבא, שמשתמש בחבילת qwen_vl_utils כדי לעבד קלט חזותי יחד עם טקסט. מדובר בגרסה הקטנה יחסית בסדרה הזו, עם שני מיליארד פרמטרים בלבד, שנועדה לתת מענה מהיר למשימות ויזואליות שגרתיות בלי לדרוש משאבי ענק. אין כאן גלריית דוגמאות מובנית, כך שתצטרכו להביא קבצים משלכם מהמחשב כדי להתחיל לבדוק אותו.

מתאים ל

  • תיאור תמונות

    מעלים תמונה ומבקשים פירוט מדויק של מה שמופיע בה עבור תגיות או נגישות.

  • שאלות על קובצי וידאו

    טוענים סרטון קצר ושואלים מה קרה בו או מתי התרחשה פעולה מסוימת.

  • חילוץ מידע חזותי

    מעלים צילום מסמך או שלט כדי לחלץ טקסט פשוט ולקבל מענה לגבי התוכן שלו.

איפה זה נופל

זה מודל קטן של שני מיליארד פרמטרים, אז אל תצפו ממנו לקרוא כתב יד לא ברור או להבין סרטונים ארוכים ומורכבים. ההדגמה לא כוללת כפתורי שליטה בפרמטרים כמו טמפרטורה או אורך תשובה מקסימלי, וקשה להבין ממנה אם שגיאה נובעת מהבנת הנקרא או מעיבוד המדיה עצמה.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הממשק פתוח לשימוש חופשי בדפדפן. אין צורך לשלם או להזין פרטי אשראי כדי לנסות אותו.

האם צריך לפתוח חשבון כדי לנסות אותה?

אפשר פשוט להיכנס לעמוד, להעלות קובץ ולהתחיל להשתמש. אין שום דרישת הרשמה או התחברות כדי להריץ שאילתות.

מה קורה עם התמונות והסרטונים שאני מעלה?

הקבצים נשלחים לשרת לצורך עיבוד התשובה על ידי המודל. הם לא נשארים במחשב שלכם, ולכן לא מומלץ להעלות מידע רגיש או פרטי.

במה הממשק הזה שונה מלהריץ את המודל עצמו?

כאן מדובר בהדגמה מוכנה שמריצה את המודל על חומרה מרוחקת. כדי להריץ את המודל לבד תצטרכו להוריד אותו ולדאוג לסביבת פיתוח עם כרטיס מסך מתאים.

איך משתמשים

גוררים תמונה או וידאו לשדה הקלט, כותבים שאלה ולוחצים על Submit. התשובה מתחילה להיכתב מיד בזרימה ישירה. הכל רץ על גבי מעבד גרפי A10G שמוקצה לפי דרישה, כך שזמן התגובה מהיר יחסית, אלא אם יש עומס שיוצר תור קצר בהמתנה לחומרה פנויה.

הרישיון

האפליקציה מפורסמת תחת רישיון MIT, מה שאומר שהקוד פתוח לחלוטין לשימוש חופשי כולל שימוש מסחרי. לגבי המידע שאתם מעלים או התשובות שמתקבלות, הכל עובר דרך השרתים שמארחים את המרחב ולא נשמר מקומית אצלכם במחשב.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗