omnivlm-dpo-demo

מה זה

הממשק מבוסס על Gradio ומציג שדות להעלאת קובץ תמונה, הזנת טקסט וסליידר להגדרות ריצה. הפלט שחוזר הוא תיבת טקסט שמציגה את התשובה שהמודל ניסח על בסיס התמונה והשאלה שהגדרתם.

מאחורי הקלעים רץ המודל OmniVLM-968M של NexaAI, שעבר אימון DPO כדי לשפר את התגובות שלו. הקוד מראה שימוש בחיבורי websockets, מה שאומר שהעיבוד עצמו לא בהכרח נשען רק על המכונה של הממשק אלא מתקשר עם שרת חיצוני שמריץ את החישובים בפועל.

מתאים ל

• בדיקת זיהוי אובייקטים

  מעלים תמונה פשוטה ושואלים מה מופיע בה כדי לבחון יכולת ראייה בסיסית.

• ניסוי במודל קומפקטי

  בדיקה של האופן שבו מודל של פחות ממיליארד פרמטרים מנסח תשובות.

• מענה קצר על תמונות

  הצגת שאלות ממוקדות על פרטים בולטים מתוך קובץ ויזואלי.

איפה זה נופל

הבעיה המיידית היא שההדגמה מדווחת על שגיאת ריצה ולא עובדת. בנוסף, מודל של פחות ממיליארד פרמטרים מוגבל מאוד בהבנת פרטים עדינים, קריאת טקסט מורכב מתמונות או מענה בעברית. אל תבנו עליו לפענוח מסמכים או לניתוח ויזואלי מסובך.

איך משתמשים

טוענים תמונה מהמחשב, מקלידים הנחיה בתיבת הטקסט, מכוונים את הסליידר לפי הצורך ושולחים לבדיקה. כרגע האפליקציה נמצאת במצב שגיאת ריצה, כך שהיא לא מגיבה ולא מייצרת תשובות בפועל. מעבר לכך, היא מוגדרת על חומרת מעבד בסיסית, כך שגם כשהיא פועלת לא כדאי לצפות לזמני תגובה מהירים במיוחד.

הרישיון

היוצרים לא דיווחו על רישיון עבור היישום. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלט, ותנאי השימוש בתמונות שאתם מעלים לא מוגדרים.

הרישיון המלא ב־Hugging Face ↗