Pixtral-Large-Instruct-2411

קוד פתוח

mistralaiother2024-11-14

vllm
mistral-common
en
fr
de

מודל מולטימודלי של 124 מיליארד פרמטרים שמנתח מסמכים ותמונות ברמה גבוהה מאוד בלי לאבד את יכולות הטקסט של מיסטרל לארג' 2.

231 GBמשקל הקבצים
78הורדות בחודש
435לייקים

מה זה

מדובר במודל ענק שמחבר מקודד ראייה של מיליארד פרמטרים ישירות לתוך מפענח של 123 מיליארד פרמטרים. השילוב הזה נועד לתת מענה לעיבוד תמונות, מסמכים ותרשימים לצד הבנת טקסט מלאה, עם חלון הקשר של 128 אלף תווים שיכול להכיל לפחות שלושים תמונות ברזולוציה גבוהה במכה אחת.

במבחני ביצועים הוא עוקף מודלים סגורים בחלק מהמדדים. ב־DocVQA הוא מגיע ל־93.3 וב־MathVista ל־69.4, שזה מעל GPT-4o ו־Claude 3.5 Sonnet בגרסאות שנבדקו מולם. המשמעות היא שבכל מה שקשור לפענוח מידע ויזואלי מורכב, תרשימים ודפי מידע עמוסים, הוא נותן פייט אמיתי למערכות הסגורות המובילות בשוק.

מתאים ל

פענוח דוחות ומסמכים סרוקים
הוא מגיע לציון 93.3 ב־DocVQA ויודע לקרוא עשרות תמונות ברזולוציה גבוהה ברצף.
ניתוח גרפים ותרשימים
עם ציון של 88.1 ב־ChartQA הוא מחלץ נתונים מתרשימים בדיוק שמתחרה ישירות במודלים המובילים.
שאלות ותשובות על תמונות
המודל קיבל 80.9 במבחן VQAv2 ומחבר הבנת תמונה לניתוח טקסטואלי מורכב.

איפה זה נופל

התמיכה הטכנית מוגבלת כרגע בלעדית ל־vLLM, כך שאי אפשר להשתמש בספריית Transformers הסטנדרטית. המודל גם דורש שימוש קפדני בתבנית Instruct V7 של מיסטרל, כשהיוצרים עצמם מזהירים שרווחים מיותרים או חסרים עלולים לפגוע בתוצאות, וממליצים להגדיר תמיד System Prompt כדי לקבל מענה יציב. מעבר לזה, רשימת השפות הרשמית כוללת שמונה שפות עיקריות כמו אנגלית, צרפתית, גרמנית וסינית, ועברית אינה מופיעה בה, כך שצריך לבדוק היטב איך הוא מתמודד עם טקסט מקומי.

שאלות
נפוצות

האם אפשר להריץ אותו על שרת עם כרטיס מסך בודד?

לא. המשקלים לבדם שוקלים 231 גיגה בייט, וההוראות דורשות שימוש בשמונה כרטיסים במקביל דרך vLLM. תצטרכו שרת מרובה מאיצים בעל נפח זיכרון עצום רק כדי לטעון אותו.

האם כדאי להשתמש בו למוצר בעברית?

עברית לא נכללת ברשימת השפות הנתמכות שפורסמה. מומלץ לבצע בדיקות מקיפות על דוגמאות שלכם לפני שמחליטים לבסס עליו מוצר מקומי.

איך מריצים

בשביל להרים 231 גיגה בייט של משקלים תצטרכו שרת כבד מאוד. הדוגמה הרשמית מריצה אותו דרך ספריית vLLM עם חלוקה לשמונה מאיצים גרפיים במקביל, כך שאין מה לנסות להריץ אותו על חומרה מקומית רגילה או כרטיס בודד.

אינטגרציית Transformers הרגילה לא עובדת כאן נכון לעכשיו, וצריך להשתמש ישירות ב־vLLM גרסה 0.6.4.post1 ומעלה יחד עם mistral-common. אם אין לכם אשכול שרתים ייעודי ותקציב ענן רציני לתחזוקה שלו, עדיף בהרבה לפנות ל־API מסחרי ולחסוך את כאב הראש התשתיתי.

pip install -U huggingface_hub
hf download mistralai/Pixtral-Large-Instruct-2411

הקבצים

58 קבצים במאגר, 231 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי כמו אפאצ'י. המשמעות היא שאתם לא יכולים להניח שמותר להשתמש בו במוצר מסחרי בצורה חופשית. לפני שמשלבים אותו במערכת פעילה, חייבים לבדוק את תנאי השימוש הספציפיים שהחברה פרסמה עבור המשקלים האלה כדי למנוע חשיפה משפטית.

הרישיון המלא בעמוד המודל ↗