MaziyarPanahi/llava-llama-3-8b

מה זה

הממשק מציג צ'אט שמיועד לניתוח תמונות. מעלים קובץ תמונה, מקלידים שאלה בתיבת הטקסט, ומקבלים תשובה מילולית שמבוססת על מה שהמודל מזהה בפריים. יש בממשק גם דוגמה מובנית שכוללת תמונה של דבורה על פרח עם השאלה מה מופיע על הפרח, כך שאפשר לראות את אופי התשובות מיד.

מאחורי הקלעים רץ המודל xtuner/llava-llama-3-8b-v1_1-transformers. מדובר בשילוב של מודל השפה Llama 3 בגרסת 8 מיליארד פרמטרים עם ארכיטקטורת LLaVA לעיבוד תמונה. הקוד טוען את המעבד והמשקלים דרך ספריית transformers ומשתמש בטכניקת streaming כדי להזרים את התשובה חזרה לחלון השיחה תוך כדי יצירת הטקסט.

מתאים ל

• תיאור תמונות וזיהוי עצמים

  העלאת צילום וקבלת פירוט טקסטואלי של הדמויות, החפצים וההתרחשות בפריים.

• מענה על שאלות ויזואליות

  שאילת שאלות ממוקדות על פרטים ספציפיים שמופיעים בתוך תמונה.

• בדיקת יכולות המודל

  השוואת ביצועי הראייה של שילוב LLaVA ו־Llama 3 מול מודלים רב-מודאליים אחרים.

איפה זה נופל

אם תנסו לשלוח הודעת טקסט רגילה בלי להעלות תמונה, המערכת תקפיץ שגיאה מפורשת ולא תענה. היא לא מתפקדת כצ'אטבוט טקסטואלי רגיל. בנוסף, מודל של 8 מיליארד פרמטרים עלול לפספס פרטים קטנים בתמונות צפופות, להמציא פרטים שלא קיימים או לטעות בקריאת טקסט מורכב.

איך משתמשים

נכנסים לעמוד, גוררים תמונה לתיבת השיחה או לוחצים על כפתור ההעלאה, מקלידים שאלה ולוחצים על שליחה. לחלופין לוחצים על דוגמת הדבורה המוכנה כדי להתחיל בלי קובץ משלכם.

הקוד מוגדר לרוץ על חומרת zero-a10g של המערכת, מה שאומר שהמעבד הגרפי מוקצה לפי דרישה. התשובה מתחילה להופיע בהזרמה רציפה תוך שניות בודדות, אך אם המשאב נרדם או שיש עומס משתמשים, תיתכן המתנה קצרה עד שהמודל יתעורר ויקצה זיכרון לעיבוד.

הרישיון

האפליקציה מפורסמת תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי והפצה. התמונות והטקסטים שמועלים מעובדים בשרת שבו רץ הממשק, ולכן לא מומלץ להעלות לשם מידע רגיש או תמונות פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗