GPT
הוספת כלי
M

MiniCPM-o-2_6-int4

קוד פתוח

openbmbapache-2.02025-01-13

  • transformers
  • safetensors
  • minicpmo
  • feature-extraction
  • minicpm-o

גרסה מכווצת למודל מולטימודלי מלא של 8.7 מיליארד פרמטרים. הוא מיועד למי שרוצה להריץ קלט ופלט של קול ותמונה מקומית על כרטיס מסך צנוע בלי לשלם על API חיצוני.

  • 8.7Bפרמטרים
  • 32,768טוקנים בהקשר
  • 7.1 GBמשקל הקבצים
  • 1,352הורדות בחודש

מה זה

מדובר במודל any-to-any שמסוגל לעבד ולייצר שילוב של טקסט, תמונה וקול, כולל תמיכה בחיבור רכיב דיבור ייעודי. הרעיון כאן הוא לקחת יכולות מולטימודליות רחבות ולהביא אותן לממדים שיכולים לרוץ על חומרה מקומית או מכשירי קצה, עם חלון הקשר של 32,768 טוקנים.

בגרסה הזו המשקלים עברו כימוס לפורמט int4, כך שנפח הקבצים עומד על 7.1 גיגה בייט בלבד. השוני המרכזי מול מודלים אחרים ברמת ה־8B הוא היכולת לטפל בהזרמת מדיה וקול באופן ישיר, במקום להסתמך על צינור נפרד של תמלול, עיבוד טקסט ומנוע דיבור חיצוני.

מתאים ל

  • עוזר קולי מבוסס ראייה

    שילוב קלט מצלמה ודיבור מקומי על מכשיר קצה בלי להוציא וידאו וקול לשרתים חיצוניים.

  • ניתוח מסמכים ותמונות

    עיבוד תמונות בשילוב שאלות ותשובות על חומרה עם זיכרון גרפי מוגבל של כ־9 גיגה בייט.

  • הדגמות אינטראקטיביות

    יצירת פרוטוטייפ מקומי שמשלב הפקת דיבור וטקסט מהירים ישירות מהמודל.

איפה זה נופל

כרטיס המודל לא מציג נתוני מבחנים ספציפיים על ירידת הדיוק בעקבות הכימוס ל־int4, וזה פרט שחובה לבדוק לבד, בעיקר בזיהוי קול וראייה ממוחשבת מורכבת. מעבר לזה, ההתקנה תלויה במזלג קוד חיצוני של AutoGPTQ ובהרצת קוד מרחוק, מה שמקשה על תחזוקה שוטפת ודורש זהירות לפני שמכניסים אותו לתשתית ייצור.

אותה משפחה

MiniCPM-o-2-6 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

MiniCPM-o-2_6259,050 MiniCPM-o-2_6-gguf3,417

שאלות
נפוצות

כמה זיכרון גרפי צריך בפועל כדי להריץ את המודל?

הכרטיס מציין צריכה של כ־9 גיגה בייט של זיכרון כרטיס מסך בזמן ריצה. כרטיס מסחרי סטנדרטי עם 12 גיגה בייט ומעלה יספיק כדי לטעון אותו ולעבוד.

האם המודל תומך בעברית בצורה טובה?

הארכיטקטורה מוגדרת כרב לשונית, אבל כרטיס המודל לא מפרט אילו שפות נבדקו לעומק בגרסה הזו. בקלט טקסטואלי פשוט סביר שתהיה תמיכה מסוימת, אך ביכולות קוליות יש לבדוק את התוצאה בפועל לפני שמסתמכים עליה.

איך מריצים

ההרצה המקומית דורשת שימוש בספריית AutoGPTQ מענף ייעודי, יחד עם transformers ו־PyTorch. המפתחים מציינים שהגרסה המכווצת הזו צורכת סביב 9 גיגה בייט של זיכרון גרפי, כך שכרטיס מסך בודד של 12 או 16 גיגה בייט מספיק כדי לעבוד איתה בלי בעיה.

אם יש לכם מחשב בלי כרטיס מסך תואם עם תמיכת CUDA או שאין לכם צורך בתכונות הקול והווידאו בזמן אמת, תחזוקה של הסביבה הזו פשוט לא תהיה משתלמת ועדיף לפנות למודל טקסטואלי רגיל דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("any-to-any", model="openbmb/MiniCPM-o-2_6-int4")
print(pipe("שלום"))

הקבצים

30 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי מלא, שינוי הקוד והפצה של המודל בתוך מוצרים. הדרישות היחידות הן שמירה על הצהרת זכויות היוצרים המקורית והוספת עותק של הרישיון בכל הפצה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗