GPT
הוספת כלי
M

Motif-3-Beta

קוד פתוח

Motif-Technologiesרישיון לא דווח2026-07-20

  • transformers
  • safetensors
  • Motif
  • feature-extraction
  • motif

מודל מומחים ענק עם כרבע מיליון טוקנים הקשר, שמפעיל מעט פרמטרים בכל שלב. הוא מעניין בעיקר למי שחוקר ארכיטקטורות מקוריות עם חיזוי מרובה טוקנים.

  • 315Bפרמטרים
  • 262,144טוקנים בהקשר
  • 586 GBמשקל הקבצים
  • 884הורדות בחודש

מה זה

מדובר במודל שפה עם 315 מיליארד פרמטרים בסך הכול, שבנוי בגישת תערובת מומחים. מתוך 384 מומחים, הוא מנתב שמונה בכל צעד יחד עם מומחה אחד משותף, כך שבפועל רצים רק כ־13 מיליארד פרמטרים לכל טוקן. המבנה שלו אינו העתק של מודלים פתוחים מוכרים אלא פיתוח עצמי שכולל מנגנוני קשב ואקטיבציה ייעודיים, לצד ראש מובנה לחיזוי מרובה טוקנים שנועד לזרז את תהליך ההסקה.

הוא מגיע עם תמיכה מקורית בהקשר של 262,144 טוקנים, מה שמאפשר להזין מסמכים ארוכים מאוד בבת אחת. במדד הביצועים AAII הוא קיבל ציון 44. המשמעות היא יכולת בסיסית בלבד ביחס לגודלו העצום, מה שמראה שחלוקת המשקלים למומחים רבים כל כך גובה מחיר באיכות התשובות הכוללת.

מתאים ל

  • מחקר ארכיטקטורות MoE

    הוא מציע ניתוב של 384 מומחים וחיזוי מרובה טוקנים מובנה לניתוח יעילות הסקה.

  • עיבוד טקסטים ארוכים באנגלית

    חלון של 256K מאפשר לבלוע מסמכים עצומים בלי לחתוך אותם מראש.

  • ניתוח נתונים בקוריאנית

    הוא אומן מראש על השפה ומסוגל לקרוא בה טקסטים ארוכים במחקר אקדמי.

איפה זה נופל

היוצרים מבהירים שמדובר בגרסת בטא זמנית ולא במוצר מוגמר, כך שצפויים שינויים ואי יציבות. הציון הנמוך במבחני הביצועים מעיד על יכולות חשיבה מוגבלות יחסית לגודל. בנוסף, המודל מוגדר עבור אנגלית וקוריאנית בלבד, כך שאין לצפות לעבודה אמינה בעברית. שימוש בו מחייב הרצת קוד מותאם מרחוק, מה שמקשה על תחזוקה תשתיתית רגילה.

שאלות
נפוצות

האם אפשר להריץ את המודל על שרת של כרטיס בודד?

לא. משקל הקבצים הוא 586 גיגה-בייט, מה שמחייב שרת מרובה כרטיסים מהשורה הראשונה, כפי שהיצרן מציין עם שמונה מאיצים מקבילים.

האם כדאי לשלב אותו במערכת ארגונית קיימת?

לא מומלץ כרגע. זוהי גרסת בטא מוקדמת עם ביצועים בינוניים במבחנים, קוד מותאם שמחייב vLLM ספציפי, ורישיון שאוסר שימוש מסחרי.

איך מריצים

כדי להרים אותו מקומית תצטרכו שרת ייעודי כבד מאוד. משקל הקבצים לבדו עומד על 586 גיגה-בייט בפורמט bfloat16, והיוצרים עצמם בדקו אותו רק על גבי מאיצי H200 ו־B200. ההרצה דורשת שימוש בגרסת vLLM מותאמת בתוך דוקר, עם חלוקת מומחים וכימות לבלוק fp8 כדי שהזיכרון יספיק לחלון ההקשר המלא.

אפשר להריץ אותו גם ישירות דרך ספריית transformers עם קוד מותאם אישית, אבל זה רלוונטי רק לבדיקות נקודתיות של שאילתה בודדת. לכל עומס עבודה ממשי, מי שאין לו קלאסטר חומרה של שמונה כרטיסי קצה מתקדמים פשוט לא יוכל להשתמש בו.

from transformers import pipeline

pipe = pipeline("text-generation", model="Motif-Technologies/Motif-3-Beta")
print(pipe("שלום"))

הקבצים

165 קבצים במאגר, 586 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון שהוצמד למשקלים אוסר על שימוש מסחרי מכל סוג ללא אישור מראש ובכתב מהחברה. מותר להשתמש בו, לשנות אותו ולהפיץ אותו אך ורק למטרות אישיות, לימודיות ומחקר שאינו מסחרי. מי שבונה מוצר או שירות שנועד להניב הכנסה לא יכול לשלב את המודל הזה כרגע.

הרישיון המלא בעמוד המודל ↗