llava-1.6-mistral-7b-gguf

מה זה

המאגר הזה מציע המרות בפורמט GGUF של LLaVA גרסה 1.6, שנבנה על גבי מודל השפה Mistral 7B Instruct v0.2. המודל מחבר בין הבנת תמונה לעיבוד טקסט, ומסוגל לענות על שאלות לגבי תמונות, לנתח מסמכים חזותיים ולנהל שיחה רב־מודלית. האימון שלו משלב מאות אלפי דוגמאות מפולטרות, כולל נתוני שיחה מ־ShareGPT, שאלות ותשובות אקדמיות ודאטה שנוצר באמצעות GPT-4V.

היתרון המרכזי כאן הוא השילוב של ארכיטקטורת LLaVA עם בסיס השפה החזק של מיסטרל, כשהכל ארוז לקבצים שרצים ישירות בספריות כמו llama.cpp. במקום להרים שרת כבד עם תשתיות פייתון מסורבלות, אפשר פשוט לטעון קובץ בודד ולהריץ מודל ראייה שלם בחומרה צנועה יחסית.

מתאים ל

• מענה על שאלות מתמונה

  מאפשר תשאול חופשי על תוכן חזותי ישירות על המחשב המקומי ללא שרת חיצוני.

• סריקת פרטים ויזואליים

  חילוץ תיאורים והבנת אלמנטים גרפיים בקובץ קל שמתאים למערכות קצה.

• מחקר וניסויי מולטימודל

  בדיקה מהירה של יכולות ראייה ממוחשבת ושפה על חומרה שולחנית בסיסית.

איפה זה נופל

יוצרי המודל הגדירו אותו כמיועד למחקר ולחובבים, ולא כמוצר סופי לתעשייה. מודל של שבעה מיליארד פרמטרים עלול להמציא פרטים בפרשנות תמונה, לפספס טקסט זעיר או להציג עיוותים כשמדובר בהיגיון מרחבי מורכב. בנוסף, רמות הקוונטיזציה הנמוכות כמו Q3 סובלות מאיבוד איכות משמעותי, ולכן לא מתאימות למשימות שדורשות דיוק עובדתי.

איך מריצים

הקבצים מוכנים להרצה עם llama.cpp ותוכנות תואמות, ללא צורך בהתקנת סביבות פייטורץ כבדות. המשקלים נעים בין קצת פחות משלושה גיגה־בייט בגרסת שלוש סיביות ועד 7.7 גיגה־בייט בגרסת שמונה סיביות. הגרסה המאוזנת והמומלצת ביותר היא Q4_K_M במשקל 4.37 גיגה־בייט, שרצה בלי בעיה על מחשב אישי ממוצע או מעבד גרפי צנוע.

אם אין לכם זיכרון פנוי בכרטיס המסך או שאתם מחפשים מקסימום איכות בלי פשרות דחיסה, עדיף להשתמש בגרסאות Q5 המומלצות שתופסות סביב חמישה גיגה־בייט. גרסת Q8_0 תופסת שטח ניכר בלי להביא שיפור מורגש שמצדיק את המשקל, ולכן עדיף לדלג עליה.

ollama run hf.co/cjpais/llava-1.6-mistral-7b-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 48.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• llava-1.6-mistral-7b.Q8_0.gguf7.7 GB
• llava-v1.6-mistral-7b.Q8_0.gguf7.7 GB
• llava-1.6-mistral-7b.Q6_K.gguf5.9 GB
• llava-v1.6-mistral-7b.Q6_K.gguf5.9 GB
• llava-v1.6-mistral-7b.Q5_K_M.gguf5.1 GB
• llava-v1.6-mistral-7b.Q5_K_S.gguf5.0 GB
• llava-v1.6-mistral-7b.Q4_K_M.gguf4.4 GB
• llava-v1.6-mistral-7b.Q3_K.gguf3.5 GB
• llava-v1.6-mistral-7b.Q3_K_M.gguf3.5 GB
• llava-v1.6-mistral-7b.Q3_K_XS.gguf3.0 GB
• mmproj-model-f16.gguf624.5 MB
• README.md3.2 KB
• .gitattributes2.3 KB

הרישיון

הפרויקט מופץ ברישיון Apache 2.0, בהתאם לרישיון של מודל הבסיס Mistral 7B Instruct. הרישיון מתיר שימוש מסחרי, שינוי של הקוד והפצה חוזרת, ללא תשלום תמלוגים, כל עוד שומרים על הודעת הרישיון המקורית ומציינים שינויים שבוצעו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗