GPT
הוספת כלי
M

MiniCPM-V-2_6-int4

קוד פתוח

openbmbרישיון לא דווח2024-08-04

  • transformers
  • safetensors
  • minicpmv
  • feature-extraction
  • minicpm-v

גרסה מכווצת למודל ראייה ושפה של שמונה מיליארד פרמטרים. היא נכנסת לכרטיסי מסך ביתיים בלי שתצטרכו לשלם על שרת ענן יקר.

  • 8.3Bפרמטרים
  • 32,768טוקנים בהקשר
  • 5.6 GBמשקל הקבצים
  • 39,725הורדות בחודש

מה זה

מדובר במודל שמשלב עיבוד תמונה וטקסט עם הקשר של 32,768 טוקנים, שזה חלון גדול מאוד לגודל כזה. היוצרים לקחו את הדגם המקורי ודחסו אותו לדיוק של 4 ביט כדי לחסוך מקום ומשאבים בלי לבנות הכל מאפס. הוא מקבל תמונה ושאלות עליה, ומחזיר תשובות בטקסט רציף או בהזרמה ישירה.

היתרון המרכזי כאן הוא היעילות. במקום להחזיק מודל ענק שדורש חומרה מקצועית, הגרסה הזו מכוונת ישירות למי שרוצה יכולות ראייה ממוחשבת בתוך סביבה מוגבלת. היא תומכת בריבוי שפות, מבוססת על ארכיטקטורת MiniCPMV עם 28 שכבות, ורצה ישירות דרך ספריית transformers המוכרת.

מתאים ל

  • ניתוח תמונות בכרטיס מקומי

    זיהוי פרטים ומענה על שאלות מתמונות בחומרה ביתית של 8GB זיכרון בלי תלות ברשת.

  • צ'אט תמונות עם הזרמת מידע

    ממשקי שיחה שדורשים הצגת תשובות בזמן אמת על קבצי מדיה, בזכות תמיכה מובנית בסטרימינג.

  • עיבוד מסמכים ארוכים

    הקשר של 32,768 טוקנים שמאפשר לנתח תמונות לצד שיחה מתמשכת ומפורטת בלי לאבד את ההתחלה.

איפה זה נופל

המודל הזה עבר קוונטיזציה של int4, ודחיסה כזו כמעט תמיד פוגעת בדיוק בפרטים הקטנים של התמונה או בהבנה של טקסט מורכב ומטושטש. היוצרים עצמם כבר הוציאו גרסה חדשה יותר, MiniCPM-o 2.6, ומציינים שהיא מציגה שיפור משמעותי לעומת הגרסה הזו. בנוסף, חובה לבדוק היטב איך הוא מתמודד עם עברית בתוך תמונות, כי רוב האימונים של מודלים כאלה מרוכזים באנגלית ובסינית.

אותה משפחה

MiniCPM-V-2-6 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

MiniCPM-V-2_641,026 MiniCPM-V-2_6-gguf11,589

שאלות
נפוצות

כמה זיכרון גרפי המודל לוקח בפועל בזמן ריצה?

הוא צורך בערך 7GB של VRAM לפי נתוני המפתח. זה אומר שהוא יעבוד על כרטיסים נפוצים עם 8GB זיכרון, בתנאי שלא תעמיסו יותר מדי תהליכים אחרים ברקע.

האם אפשר להשתמש במודל הזה במוצר מסחרי?

נכון לעכשיו לא כדאי לגעת בו לפרויקט מסחרי. לא הוגדר לו רישיון רשמי במאגר, ומבחינה חוקית שימוש ללא רישיון מפורש הוא סיכון שאי אפשר לקחת בעסק.

למה להעדיף את גרסת ה־int4 על פני הגרסה המקורית?

הסיבה היחידה היא חיסכון במשאבים. קבצי המודל שוקלים רק 5.6GB והוא דורש מעט זיכרון עבודה, כך שאתם מרוויחים יכולות של שמונה מיליארד פרמטרים במחשב רגיל לחלוטין.

איך מריצים

אתם צריכים כרטיס מסך של NVIDIA עם לפחות 7GB זיכרון פנוי כדי להריץ אותו, מה שאומר שכמעט כל כרטיס מודרני מהשנים האחרונות יספיק. ההרצה דורשת פייתון 3.10, חבילות ספציפיות כמו torch, bitsandbytes וספריית transformers, וחשוב להגדיר trust_remote_code כי הקוד יושב ישירות במאגר.

אם יש לכם כרטיס ישן יותר או שאין לכם מעבד גרפי ייעודי, עדיף להשתמש ב־API חיצוני של מודל ראייה ולא לנסות לסחוט את המחשב. הקוד תומך גם במענה רגיל וגם בסטרימינג שפולט טוקנים בזמן אמת.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="openbmb/MiniCPM-V-2_6-int4")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 5.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל לא דווח רישיון כלל. המשמעות פשוטה ומסוכנת: אין לכם אישור שימוש מוגדר, בטח שלא לשימוש מסחרי במוצר שאתם מוכרים. עד שהמפתחים לא יעדכנו רישיון ברור, שילוב שלו במערכת עסקית חושף אתכם לבעיות משפטיות.

הרישיון המלא בעמוד המודל ↗