GPT
הוספת כלי
M

MiniCPM-V

קוד פתוח

openbmbרישיון לא דווח2024-01-30

  • transformers
  • safetensors
  • minicpmv
  • feature-extraction
  • visual-question-answering

מודל ראייה ושפה קטן של 3.4 מיליארד פרמטרים שדוחס תמונות ל־64 טוקנים בלבד. הוא מיועד למי שחייב להריץ עיבוד תמונה וטקסט מקומית על כרטיסי מסך צנועים או טלפונים.

  • 3.4Bפרמטרים
  • 4,096טוקנים בהקשר
  • 6.4 GBמשקל הקבצים
  • 819הורדות בחודש

מה זה

מדובר בשילוב של מודל הראייה SigLip-400M יחד עם מודל שפה MiniCPM-2.4B, שחוברו יחד באמצעות perceiver resampler. במקום להמיר כל תמונה למאות טוקנים כמו שמקובל במודלים מקבילים, הוא מכווץ את המידע החזותי ל־64 טוקנים. זה חוסך זיכרון ומקצר את זמני הריצה בצורה מורגשת.

לפי המבחנים שהמפתחים הציגו, המודל עוקף מודלים בגודל 3B כמו LLaVA-Phi ו־MobileVLM במבחני MME ו־MMMU. בחלק מהמדדים, כולל MMBench, הוא עוקף אפילו את Qwen-VL-Chat שגדול ממנו כמעט פי שלושה. הוא תוכנן מראש לעבודה דו־לשונית באנגלית ובסינית, מה שמסביר את התוצאות הגבוהות במיוחד במבחנים בשפות האלו.

מתאים ל

  • זיהוי תמונות בטלפונים

    דחיסת התמונה ל־64 טוקנים מאפשרת מענה לשאלות על גבי תמונות מקומית באנדרואיד בלי שרת.

  • מיון מסמכים דו־לשוני

    חלוקה לקטגוריות ופענוח תמונות המכילות טקסט באנגלית או בסינית בלבד על גבי חומרה חלשה.

  • בדיקות ראייה בתוך תחנת קצה

    הרצה מקומית על מחשבי מק או כרטיסי מסך קטנים לצורך ניתוח מהיר של תמונות ללא תלות ברשת.

איפה זה נופל

התמיכה מוגבלת לאנגלית ולסינית בלבד. אין שום תיעוד או בדיקה לגבי עברית, ולכן ניתוח תמונות עם טקסט בעברית או בקשות בעברית צפויים להיכשל או להחזיר ג'יבריש. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים, והמפתחים מציינים במפורש שהמודל נוטה לייצר הזיות ואינו מסוגל לבצע שיפוט ערכי. יש גם לזכור שזו גרסה מוקדמת מינואר 2024, ומאז יצאו גרסאות חדשות בהרבה.

שאלות
נפוצות

האם המודל מבין פקודות או תמונות עם כיתוב בעברית?

האימון והבדיקות נעשו סביב אנגלית וסינית בלבד. אין בכרטיס המודל שום אינדיקציה לתמיכה בעברית, ולכן למשימות בעברית כדאי לחפש מודל אחר או להסתמך על מודלי ענן רב־לשוניים.

האם כדאי להוריד דווקא את הגרסה הזו כיום?

לא בטוח. זו הגרסה המקורית שפורסמה בינואר 2024, ומאז אותה קבוצה שחררה גרסאות חדשות יותר כמו MiniCPM-V 2.0, 2.5 ו־2.6 שמציגות ביצועים טובים בהרבה.

איך מריצים

אתם מריצים אותו ישירות דרך ספריית transformers בפייתון 3.10, עם תמיכה בכרטיסי Nvidia או מחשבי Mac עם מעבדי אפל דרך MPS. קבצי המשקלים שוקלים 6.4 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך פשוט עם 8 או 12 גיגה זיכרון מספיק בהחלט כדי לטעון אותו, ויש למפתחים גם פרויקט נפרד להרצה על מכשירי אנדרואיד.

אם אתם לא חייבים פרטיות מלאה או ריצה מקומית על מכשירי קצה, לפעמים פשוט וזול יותר לפנות ל־API חיצוני של מודל ענן גדול, במיוחד כי מאז שיצא המודל הזה כבר שוחררו גרסאות מתקדמות בהרבה בסדרה כמו 2.0 ו־2.6.

from transformers import pipeline

pipe = pipeline("visual-question-answering", model="openbmb/MiniCPM-V")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 6.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד עצמו פתוח תחת רישיון Apache 2.0, אבל המשקלים כפופים לרישיון נפרד של MiniCPM. הם חינמיים לחלוטין לצורכי מחקר אקדמי, אך שימוש מסחרי דורש מילוי טופס רישום ושאלון ייעודי מול החברה כדי לקבל אישור.

הרישיון המלא בעמוד המודל ↗