mmproj

קוד פתוח

koboldcppרישיון לא דווח2024-03-11

gguf

קבצי הפרוג'קטור האלה מחברים יכולות ראייה למודלי שפה קיימים בפורמט GGUF. הם מתאימים למי שמריץ מודלים מקומית ורוצה להוסיף ניתוח תמונות בלי להחליף את כל התשתית.

14.2 GBמשקל הקבצים
6,104הורדות בחודש
114לייקים

מה זה

המאגר הזה מרכז קבצי mmproj שנועדו לעבוד ישירות עם KoboldCpp לצד מודלי שפה מבוססי GGUF שכבר יש לכם על הדיסק. במקום להוריד מודל מולטימודלי שלם מראש, הקבצים האלה משמשים גשר שמחבר עיבוד תמונה למודל קיים. אתם בוחרים את קובץ הפרוג'קטור שמתאים בדיוק לארכיטקטורה של המודל שלכם, למשל קובץ ייעודי עבור מודלים שמבוססים על Mistral 7B.

ברגע שמחברים את הקובץ המתאים, המערכת של KoboldAI Lite מאפשרת להעלות תמונה לממשק ולתשאל את המודל לגביה. אין כאן מודל עצמאי אלא רכיב מתאם, ולכן הביצועים בפועל ויכולת הבנת התמונה תלויים גם במודל השפה שבחרתם להריץ ברקע ולא רק בקובץ הראייה עצמו.

מתאים ל

הוספת ראייה ל־Mistral 7B
חיבור קובץ הראייה המתאים למודל קיים מאפשר להעלות תמונות ולשאול שאלות ישירות בממשק.
עבודה מקומית ב־KoboldCpp
טעינת הפרוג'קטור ישירות מהממשק הגרפי למי שרוצה ניתוח תמונות מקומי בלי תלות ברשת.
בדיקת יכולות מולטימודל
התנסות בהבנת תמונות עם מודלי GGUF שונים על ידי החלפת קובץ הפרוג'קטור בלבד.

איפה זה נופל

הטעות הכי נפוצה כאן היא חוסר התאמה בין הפרוג'קטור למודל השפה. אם תטענו קובץ שלא נבנה במדויק עבור הארכיטקטורה שרצה אצלכם, הראייה לא תעבוד או שתקבלו פלט שגוי לחלוטין. בנוסף, הכרטיס לא מציג שום מדדי דיוק או מבחני ביצועים, כך שחייבים לבדוק ידנית איך הצימוד הזה מתמודד עם תמונות מורכבות לפני שמשלבים אותו בזרימת עבודה אמיתית.

שאלות
נפוצות

האם צריך להוריד את כל 23 הקבצים במאגר?

ממש לא. צריך להוריד רק את קובץ ה־mmproj הבודד שמתאים לארכיטקטורה של מודל השפה שאיתו אתם עובדים, כמו גרסת Mistral 7B.

איך יודעים שהמודל אכן מזהה את התמונה שהועלתה?

לאחר הטעינה והעלאת התובנה ב־KoboldAI Lite, לחיצה על התמונה תציג חיווי שהראייה פעילה. אם החיווי לא מופיע, כדאי לרענן את העמוד ולבדוק שנטען הקובץ הנכון.

איך מריצים

טוענים את הקובץ ישירות מתוך KoboldCpp על ידי הוספת הדגל mmproj בשורת הפקודה, או שבוחרים בו ידנית בלשונית Model Files בממשק הגרפי. אחרי הטעינה מרעננים את KoboldAI Lite, מעלים תמונה ובודקים שחיווי הראייה פעיל.

בסך הכול המאגר כולל 23 קבצים במשקל כולל של 14.2 גיגה בייט, אבל אתם מורידים רק את הקובץ הספציפי שמתאים לארכיטקטורה שלכם ולא את כולם. אם אתם צריכים זיהוי תמונה יציב בקנה מידה רחב בלי להתעסק בהתאמות ארכיטקטורה ידניות, קריאה ל־API חיצוני תחסוך לכם תחזוקה.

ollama run hf.co/koboldcpp/mmproj:Q4_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

23 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצרים לא דיווחו על רישיון כלל בדף המודל. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת מה המגבלות המשפטיות או זכויות היוצרים על הקבצים. מי שמתכנן להפיץ את זה במוצר מסחרי לוקח סיכון משפטי ועדיף לו להימנע מכך עד להבהרת הסטטוס.

הרישיון המלא בעמוד המודל ↗