llava-v1.5-7b-llamafile

מה זה

מוזילה לקחו את LLaVA 1.5, מודל של 7 מיליארד פרמטרים שמבוסס על LLaMA ו־Vicuna, וארזו אותו בתצורת llamafile. המודל אומן על שילוב של חצי מיליון זוגות תמונה וטקסט מסוננים ממאגרים כמו LAION, לצד עוד כ־158 אלף הוראות מולטימודליות שנוצרו על ידי GPT, דאטה אקדמי של שאלות ותשובות על תמונות, ושיחות מ־ShareGPT. השילוב הזה נותן לו יכולת לנהל שיחה ישירה על קבצי תמונה שתזינו לו.

במקום להסתבך עם ספריות פייתון וגרסאות CUDA, הפורמט הזה הופך את כל העסק לקובץ הפעלה עצמאי. הוא נבדק מול 12 מבחני ביצועים שונים של שאלות ותשובות ויכולת מעקב אחרי הוראות. בהשוואה למודלי טקסט בלבד באותו סדר גודל, כאן מקבלים הבנה ויזואלית בסיסית וטובה לזיהוי אובייקטים וניתוח סצנות, אם כי הוא עדיין מודל יחסית קטן שלא מתחרה במערכות ענק מסחריות.

מתאים ל

• ניתוח תמונות מקומי

  מאפשר לשאול שאלות על תמונות ישירות מהטרמינל בלי להעלות קבצים פרטיים לרשת.

• מחקר מולטימודלי

  משמש לבדיקת יכולות הבנת תמונה של מודלים פתוחים על גבי חומרה אישית.

• מענה אוטומטי על תרשימים

  עונה על שאלות מתוך דיאגרמות ותרשימים פשוטים בזכות אימון על נתוני VQA.

איפה זה נופל

יוצרי המודל הגדירו אותו מראש כמיועד למחקר ולחובבים, ולא כמוצר מוגמר לייצור. הנתונים מבוססים בחלקם על פלטים סינתטיים של GPT ועל שיחות ShareGPT, מה שאומר שהוא עלול להמציא פרטים, להזות עובדות לגבי מה שמופיע בתמונה, או לפספס פרטים קטנים ומורכבים. לפני שמשלבים אותו בזרימת עבודה אמיתית, חייבים לבדוק איך הוא מתמודד עם טקסט קטן בתוך תמונה ועם תנאי תאורה קשים.

איך מריצים

ההורדה כבדה מאוד ומגיעה לכמעט 50 גיגה ב־12 קבצים, כך שחובה לוודא שיש לכם מספיק שטח אחסון וחיבור מהיר לפני שמתחילים. מודל של שבעה מיליארד פרמטרים דורש כרטיס מסך עם לפחות 8 עד 12 גיגה של זיכרון כדי לרוץ בצורה חלקה, או מעבד חזק עם מספיק זיכרון ראם אם אתם מתכוונים להריץ אותו ישירות על המחשב.

אם אתם צריכים רק לבדוק תמונה פה ושם ולא רוצים להחזיק שרת ייעודי או לתפוס עשרות גיגות בכונן, שימוש ב־API חיצוני יהיה מהיר וזול בהרבה. הריצה המקומית שווה את המאמץ בעיקר אם המידע רגיש או כשחייבים עבודה מנותקת מרשת.

ollama run hf.co/mozilla-ai/llava-v1.5-7b-llamafile:Q4_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 49.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• llava-v1.5-7b-f16.llamafile14.4 GB
• llava-v1.5-7b-f16.gguf13.5 GB
• llava-v1.6-mistral-7b.Q8_0.llamafile8.3 GB
• llava-v1.5-7b-Q8_0.gguf7.2 GB
• llava-v1.5-7b-q4.llamafile4.6 GB
• llava-v1.5-7b-Q4_K.gguf4.1 GB
• llava-v1.5-7b-mmproj-f16.gguf624.4 MB
• llava-v1.5-7b-mmproj-Q8_0.gguf235.7 MB
• llava-v1.5-7b-mmproj-Q4_0.gguf177.4 MB
• lemurs.jpg73.8 KB
• .gitattributes2.2 KB
• README.md1.5 KB

הרישיון

המודל כפוף לרישיון Llama 2 של מטא. הרישיון מתיר שימוש מסחרי ומחקרי, אבל כולל הגבלות מוגדרות מראש, כולל דרישה לאישור מיוחד אם מגיעים ליותר מ־700 מיליון משתמשים פעילים בחודש, ואיסור להשתמש בפלטים שלו כדי לאמן מודלים מתחרים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗