GPT
הוספת כלי
M

MiniMax-Text-01

קוד פתוח

MiniMaxAIרישיון לא דווח2025-01-12

  • safetensors
  • minimax_text_01
  • text-generation
  • conversational
  • custom_code

זה מודל שפה ענק עם ארכיטקטורת תערובת מומחים וחלון קשר של מיליוני טוקנים. הוא פונה למי שצריך לעבד כמויות עצומות של מידע בבת אחת בלי לאבד פרטים.

  • 456Bפרמטרים
  • 10,240,000טוקנים בהקשר
  • 852 GBמשקל הקבצים
  • 2,897הורדות בחודש

מה זה

מדובר במודל של 456 מיליארד פרמטרים שמפעיל 45.9 מיליארד פרמטרים בכל טוקן, מה שמקטין את החישוב בפועל בזמן ריצה. הארכיטקטורה משלבת מנגנון Lightning Attention יחד עם Softmax רגיל כדי להתמודד עם זיכרון ארוך בלי קריסה בביצועים. לפי נתוני המפתחים, הוא אומן על מיליון טוקנים ומסוגל להגיע עד ארבעה מיליון טוקנים בהסקה.

במבחני ביצועים להקשר ארוך כמו LongBench v2 ו־Ruler במיליון טוקנים, הוא עוקף מודלים כמו GPT-4o ומתחרה ראש בראש עם Gemini-1.5-Pro. לעומת זאת, במשימות כלליות של קוד ומתמטיקה הוא נותן תוצאות טובות אבל לא שובר שיאים, עם 71.7 ב־MBPP ו־86.9 ב־HumanEval, ציונים שנמוכים יותר מ־DeepSeek-V3 ומ־Claude-3.5-Sonnet.

מתאים ל

  • ניתוח מסמכי ענק

    חלון הקשר העצום מאפשר לטעון ספרים שלמים או מאות דוחות כספיים בשאילתה בודדת.

  • שליפת מידע מטקסט מבוזר

    הוא משיג תוצאות גבוהות במבחני איתור עובדות בתוך מיליוני טוקנים בלי לאבד את ההקשר.

  • תרגום בהקשר רחב

    הוא מציג שיפור משמעותי במדדי תרגום כאשר מספקים לו הקשר של ספר מלא.

איפה זה נופל

החולשה העיקרית שלו מופיעה ביצירת קוד ובפתרון בעיות היגיון מורכבות. במבחן GPQA הוא מגיע ל־54.4 לעומת 65 של Claude-3.5-Sonnet, ובמבחן MBPP הוא מפסיד לרוב המודלים המובילים בקטגוריה שלו. נקודה נוספת שדורשת זהירות היא הרצת קוד מרוחק בעת הטעינה, trust_remote_code, שמחייבת בדיקה של הקוד לפני הפעלה בסביבת ייצור.

שאלות
נפוצות

אפשר להריץ אותו על שרת GPU יחיד?

לא. המודל שוקל מעל 850 גיגה בייט ודורש שמונה כרטיסי מסך רק כדי לעלות בכימות של שמונה ביט. שרת בודד פשוט לא יחזיק את כמות הפרמטרים הזו.

האם הוא מתאים בעיקר לפיתוח קוד?

לא הייתי בוחר בו למשימות תכנות נטו. הציונים שלו במבחני קוד נמוכים משמעותית ממודלים כמו DeepSeek-V3, ולכן היתרון שלו הוא בעיקר ההקשר הארוך ולא כתיבת תוכנה.

איך מריצים

המשקל הגולמי של הקבצים עומד על 852 גיגה בייט, כך שאי אפשר להריץ אותו על שרת פשוט או מחשב מקומי. קוד הדוגמה של החברה דורש לפחות שמונה כרטיסי מסך ושימוש בכימות של שמונה ביט כדי לפזר את שמונים השכבות על החומרה.

אם אין לכם קלאסטר שרתים ייעודי ותקציב כבד לחומרה, עדיף בהרבה להשתמש ב־API שהחברה מציעה דרך הפלטפורמה שלה במקום להוריד 435 קבצים ולהסתבך עם הגדרות מקביליות.

pip install -U huggingface_hub
hf download MiniMaxAI/MiniMax-Text-01

הקבצים

435 קבצים במאגר, 852 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל לא דווח רישיון רשמי ומוגדר, למרות שיש קישור להסכם מודל פנימי וקוד תחת MIT. המצב הזה יוצר חוסר ודאות משפטית, ומי שרוצה לשלב אותו במוצר מסחרי צריך לבדוק ישירות את תנאי השימוש כדי לא להסתכן בהפרת זכויות.

הרישיון המלא בעמוד המודל ↗