MiniCPM-o-2_6-gguf

מה זה

הפרויקט הזה מביא את משקלי MiniCPM-o 2.6 לפורמט GGUF, במטרה לתת מענה מקומי למשימות Any-to-Any שכוללות תמונה, קול וטקסט. המפתחים שלו מצהירים על ביצועים ברמה שמכוונת להתחרות ב־GPT-4o, אבל בתוך מעטפת שמתאימה גם להרצה על טלפונים ומחשבים אישיים ללא תלות ברשת.

הייחוד כאן הוא השילוב של קלט ופלט בכמה ערוצים בו זמנית, כולל תמיכה בהזרמה רציפה בזמן אמת. עם זאת, נכון לפרסום הנוכחי, המימוש בתוך llama.cpp תומך עדיין בעיקר בחלק של הראייה והתמונה בלבד, ולא בכל שרשרת היכולות הקוליות של המודל המקורי. מי שמחפש תחליף מלא לעוזר קולי מקומי מקצה לקצה יגלה שהתשתית הזו נמצאת עדיין בשלבי השלמה.

מתאים ל

• ניתוח תמונות מקומי

  זיהוי פרטים ותיאור תמונות ישירות מתוך שורת הפקודה דרך כלי C++ ייעודיים ללא שליחת מידע החוצה.

• פיתוח אפליקציות שולחניות

  שילוב יכולות הבנת תמונה באפליקציות מקומיות בעזרת כימותי 4 ביט שלא דורשים שרתי ענק.

• בדיקות מעבדה להרצה בקצה

  הערכת ביצועי מודל מולטימודלי דחוס על חומרת משתמש קצה לקראת התאמה עתידית למובייל.

איפה זה נופל

החיסרון הבולט הוא הפער בין ההבטחה למימוש. הכרטיס מצהיר על יכולות קול והזרמה חיה, אבל מודה במפורש שהתיעוד והתמיכה ב־llama.cpp מוגבלים כרגע ליכולות הראייה בלבד. מעבר לזה, אתם תלויים בפיצול קוד ספציפי של הפרויקט ולא בקוד הראשי, מה שעלול לייצר שבירות ותחזוקה מורכבת.

אותה משפחה

MiniCPM-o-2-6 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בפועל משתמשים בפיצול ייעודי של llama.cpp מבית היוצרים שלו, ומקמפלים אותו בעזרת CMake. ההרצה דורשת קובץ משקלים ראשי וקובץ נפרד למקרן התמונה, כאשר הפקודה מריצה קובץ בינארי ייעודי שתומך בפרמטרים מותאמים כמו חלון הקשר של 4096 טוקנים.

סך המשקלים במאגר מגיע ל־61.1 גיגה בייט שמתחלקים בין גרסאות דיוק שונות כמו F16 וכימותי ארבע ביט. בגרסאות המכומתות אפשר להסתפק בזיכרון של מחשב אישי או מק מודרני, אבל אם אתם צריכים רק ניתוח תמונה מזדמן בלי התעסקות בקוד C++ וספריות תואמות, עדיף לפנות לפתרון מנוהל.

ollama run hf.co/openbmb/MiniCPM-o-2_6-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 61.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Model-7.6B-F16.gguf15.2 GB
• Model-7.6B-Q8_0.gguf8.1 GB
• Model-7.6B-Q6_K.gguf6.3 GB
• Model-7.6B-Q5_1.gguf5.8 GB
• Model-7.6B-Q5_K_M.gguf5.4 GB
• Model-7.6B-Q5_0.gguf5.3 GB
• Model-7.6B-Q4_1.gguf4.9 GB
• Model-7.6B-Q4_K_M.gguf4.7 GB
• Model-7.6B-Q4_K_S.gguf4.5 GB
• Model-7.6B-Q4_0.gguf4.4 GB
• mmproj-model-f16.gguf1.0 GB
• README.md2.9 KB
• .gitattributes2.2 KB

הרישיון

הרישיון של המאגר הזה לא דווח בעמוד הדגם. במצב כזה אין אישור שימוש ברור, לא לצרכים מסחריים ולא לפיתוח פנימי, וכל שילוב שלו במוצר מסחרי חושף אתכם לסיכון משפטי עד שהמפתחים יגדירו תנאים רשמיים.

הרישיון המלא בעמוד המודל ↗