GPT
הוספת כלי
P

pixtral-12b

קוד פתוח

mistral-experimentalapache-2.02024-09-13

  • transformers
  • safetensors
  • llava
  • image-text-to-text
  • conversational

מודל ראייה ושפה שמקבל רצף של תמונות וטקסט יחד עם חלון הקשר ענק של מיליון טוקנים. הוא נותן מענה למי שרוצה ניתוח ויזואלי מורכב מקומית בלי לצאת לענן.

  • 13Bפרמטרים
  • 1,024,000טוקנים בהקשר
  • 23.6 GBמשקל הקבצים
  • 132,551הורדות בחודש

מה זה

מדובר במודל שמבוסס על ארכיטקטורת Llava ומיועד לעבד קלט משולב של תמונות ומלל. היכולת המרכזית כאן היא שילוב של מספר תמונות שונות בתוך אותה שיחה, כך שאפשר להציג לו כמה מקורות ויזואליים במקביל ולבקש ממנו להשוות ביניהם או לענות על שאלות שדורשות הצלבה של המידע.

הייחוד המשמעותי שלו לעומת מודלים אחרים בטווח של 12 עד 13 מיליארד פרמטרים הוא חלון הקשר של 1,024,000 טוקנים. זה מאפשר לטעון כמות גדולה של מסמכים, תמונות מרובות והיסטוריית שיחה ארוכה בלי לחתוך את הקלט, כל עוד החומרה שלכם מסוגלת להחזיק את זה בזיכרון.

מתאים ל

  • השוואת תמונות מרובות

    הוא תומך בהזנה של כמה תמונות ברצף אחד, מה שמאפשר לבקש השוואה ישירה בין מוצרים או איתור שינויים.

  • ניתוח מסמכים ויזואליים

    חלון ההקשר העצום מאפשר להזין מספר רב של דפים סרוקים יחד עם שאלות מורכבות על התוכן.

  • צ'אט מבוסס ראייה מקומי

    מתאים למי שחייב לשמור תמונות ומידע רגיש בתוך הרשת המקומית תחת רישיון מסחרי פתוח.

איפה זה נופל

המודל שוחרר תחת תגית ניסיונית experimental, מה שאומר שאין כאן התחייבות ליציבות או תמיכה ארוכת טווח. כרטיס המודל לא מציג שום ציוני ביצועים, מדדי בטיחות או נתונים על הזיות ויזואליות, ולכן חובה לבדוק אותו עצמאית מול מקרי הקצה שלכם. בנוסף, פענוח הטוקנים דורש תשומת לב לטוקנים מיוחדים כדי שהרווחים בין הטקסט לתמונות לא ישתבשו.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב אישי רגיל?

לא ממש. המשקלים לבדם תופסים מעל 23 גיגה בייט בזיכרון הווידאו, כך שדרוש כרטיס מקצועי עם 24 גיגה בייט זיכרון לפחות כדי לטעון אותו, עוד לפני שמנצלים את חלון ההקשר.

האם נדרשת גרסה מיוחדת של transformers?

כן, כרטיס המודל מציין במפורש שצריך להתקין את הספרייה מקוד המקור או לעבוד עם גרסה 4.45 ומעלה, כשגרסה 4.48 ומעלה מפשטת את העברת התמונות דרך הטמפלט.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו להחזיק קבצים במשקל 23.6 גיגה בייט, מה שמחייב כרטיס מסך עם לפחות 24 עד 32 גיגה בייט זיכרון וידאו לפני שמחשבים את זיכרון ההקשר. אם תנצלו חלק משמעותי מחלון מיליון הטוקנים, צריכת הזיכרון תזנק מעבר לכרטיס בודד ותחייב חומרה ארגונית.

ההרצה מתבצעת ישירות דרך ספריית transformers, אך דורשת גרסה עדכנית או התקנה ישירות מקוד המקור כדי לתמוך בטמפלט השיחה ובעיבוד התמונות. אם אתם לא מחזיקים שרת ייעודי עם כרטיס מתאים, סביר להניח ששליחת קריאות לשירות חיצוני תהיה זולה ומהירה בהרבה.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="mistral-experimental/pixtral-12b")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 23.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של המשקלים והפצה חופשית. אתם יכולים לשלב אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗