llava-next

מה זה

מעלים תמונה לתוך ממשק צ'אט וכותבים שאלה עליה בטקסט. המערכת מחזירה תשובה מילולית בזרימה, מילה אחרי מילה, לפי מה שהיא מזהה בפריים. יש בממשק גם דוגמה מובנית שכוללת תמונה של דבורה על פרח עם השאלה מה נמצא על הפרח.

מאחורי הקלעים רץ המודל llava-hf/llava-v1.6-mistral-7b-hf של Llava NeXT, שמשלב בין עיבוד תמונה למודל השפה Mistral 7B. הקוד טוען את המודל בדיוק של חצי דיוק (float16) כדי לחסוך בזיכרון, ומשתמש ברכיב הזרמת טקסט של transformers כדי לפלוט את התוצאה בזמן אמת.

מתאים ל

• זיהוי אלמנטים בתמונה

  העלאת תמונת טבע או עצם וקבלת פירוט על מה שמופיע בה, כמו בזיהוי חרקים או פרחים.

• שאילת שאלות על צילומים

  בדיקת פרטים ממוקדים בתוך סצנה חזותית באמצעות שאלות ישירות בטקסט.

• הערכת ביצועי המודל

  בדיקה מהירה של יכולות גרסת Mistral 7B לפני שמורידים אותה להרצה מקומית.

איפה זה נופל

אם אתם צריכים צ'אט טקסטואלי רגיל, זה לא המקום. הממשק חוסם שיחה ללא קובץ תמונה צמוד וזורק הודעת שגיאה מפורשת. בנוסף, מדובר בגרסת 7B שהיא הקלה במשפחה הזו, כך שלא כדאי לבנות על ניתוח מעמיק של תרשימים מורכבים או טקסטים קטנים מאוד בתוך התמונה לפני שבודקים אותה מול מקרים אמיתיים שלכם.

איך משתמשים

נכנסים לעמוד, מעלים קובץ תמונה לתיבת הצ'אט, מקלידים שאלה ושולחים, או לוחצים ישירות על הדוגמה המוכנה של הדבורה. הקוד מחייב צירוף תמונה בכל פנייה, ואם תנסו לשלוח טקסט בלבד תקבלו שגיאה ישירה בממשק.

ההרצה מתבצעת על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה. זה אומר שלפעמים תצטרכו להמתין כמה שניות להתעוררות החומרה לפני שהתשובה מתחילה לזרום, אבל ברגע שהיא פעילה העיבוד רץ מהר יחסית.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמת הקוד. לגבי התמונות שאתם מעלים, הן מועברות דרך שרתי השירות שבו המרחב מתארח, ולכן לא מומלץ להעלות לשם מידע רגיש או תמונות פרטיות שאינכם רוצים לחשוף.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗