LLaVA-NeXT-Interleave-Demo

מה זה

מעלים תמונה אחת או כמה תמונות במקביל לצד שאלה מילולית, ומקבלים תשובת טקסט שמנתחת את כל המידע יחד. המערכת כוללת דוגמאות מובנות כמו השוואת קורות חיים של שני מועמדים שונים, ניתוח מפרטים טכניים של מכשירי אייפון מכמה שקופיות, או מעקב אחר שינויים בין תמונות של אותו אובייקט.

מאחורי הקלעים הקוד טוען את המודל llava-next-interleave-qwen-7b של lmms-lab, שמשלב עיבוד תמונה עם מודל שפה מבוסס Qwen, ובנוסף רשום ברקע שימוש ב־opt-350m של פייסבוק. התקשורת מתבצעת כשיחה רציפה, כולל אפשרויות לדירוג התשובה או יצירה מחדש.

מתאים ל

• השוואת מסמכים

  העלאת צילומי קורות חיים שונים לקבלת סיכום והשוואה תמציתית של הנתונים.

• זיהוי שינויים בתמונות

  הזנת שתי תמונות של אותו עצם כדי לאתר הבדלים או שינויים שחלו בו.

• ניתוח מפרטים מרובי שקופיות

  שילוב מספר צילומי מסך של מוצר לצורך הפקת תשובה טכנית מאוחדת.

איפה זה נופל

הבעיה המרכזית כרגע היא סטטוס התקלה שמונע שימוש בדף לחלוטין. מעבר לכך, הדגמות מבוססות 7B מתקשות לעיתים בזיהוי פרטים זעירים מאוד במסמכים צפופים, וההסתמכות על תמונות מרובות במקביל מכבידה על הזיכרון. מי שרוצה לבדוק את הביצועים האמיתיים של המודל יצטרך להוריד את המשקלים ולהריץ אותם בסביבה מקומית.

איך משתמשים

במצב הנוכחי אי אפשר להריץ את ההדגמה ישירות בדפדפן כי השרת מדווח על תקלת הגדרה פנימית. כשהיא פועלת, משתמשים בתיבת קלט רב מודאלית להעלאת קבצים והקלדת טקסט ללא צורך בהתחברות מראש. העיבוד מוגדר לרוץ על כרטיס גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, אך כל עוד התקלה לא נפתרת בלוקים של קוד לא יתחילו לרוץ.

הרישיון

הרישיון של המרחב עצמו לא דווח בעמוד. עם זאת, הטקסט בממשק מציין שמדובר בתצוגה מקדימה למחקר בלבד לשימוש לא מסחרי, הכפופה לתנאי השימוש של LLaMA, OpenAI ו־ShareGPT.

הרישיון המלא ב־Hugging Face ↗