jetmoe-8b

מה זה

המודל מחזיק 8.5 מיליארד פרמטרים בסך הכול, אבל מפעיל רק 2.2 מיליארד בכל טוקן בזכות פיצול לשמונה מומחים בשכבות הקשב והעיבוד, מתוכם שניים פעילים בו זמנית. הוא אומן על 1.25 טריליון טוקנים ממאגרים ציבוריים בלבד בתקציב נמוך של פחות ממאה אלף דולר, שכלל צביר של 96 כרטיסי H100 לשבועיים.

במדדי הביצועים של הלוח הפתוח הוא עוקף את LLaMA2-7B בממוצע הכולל עם ציון 53 לעומת 51, ומציג יתרון בולט במשימות מתמטיקה כמו GSM8k עם 27.8 לעומת 14.5. מול מודלים קטנים עם כוח חישוב דומה כמו Gemma-2B, הוא מוביל כמעט בכל מבחן.

מתאים ל

• הסקה חסכונית בשרתים

  צריכת חישוב של 2.2 מיליארד פרמטרים מאפשרת תפוקת טוקנים מהירה ועלויות שרת נמוכות משמעותית ממודלי 7B רגילים.

• כוונון על חומרה ביתית

  מבנה המומחים והדרישות הנמוכות מאפשרים לבצע fine-tuning בתקציב נמוך על כרטיסי מסך צרכניים.

• פתרון בעיות היגיון וחישוב

  מציג ציון של 27.8 במבחן GSM8k, גבוה בהרבה ממתחרים בגודל דומה, מה שמסייע בשאלות חשבון והסקה.

איפה זה נופל

למרות ההובלה במתמטיקה, הוא נופל במבחני תכנות מורכבים כמו HumanEval עם ציון של 14.6 בלבד, לעומת DeepseekMoE-16B שהגיע ל־25, כך שהוא לא מתאים לכתיבת קוד עצמאית. חלון ההקשר שלו מוגבל ל־4,096 טוקנים, מעט מאוד בהשוואה לסטנדרט הנוכחי.

בנוסף, הריצה דורשת קוד מותאם אישית שרושם את הארכיטקטורה לתוך transformers, ולא נתמכת ישר מהקופסה בכל תשתית הרצה סטנדרטית.

איך מריצים

כדי להריץ אותו צריך להוריד חבילה ייעודית מגיטהאב ולהשתמש במחלקות מותאמות של transformers. המשקל שלו בזיכרון תופס כמעט 16 ג'יגה בייט, כך שאי אפשר להסתפק בכרטיס מסך פשוט עם 8 או 12 ג'יגה בייט עבור משקלים מלאים, אלא צריך כרטיס עם 24 ג'יגה בייט כמו RTX 3090 או 4090, או לבצע קוונטיזציה.

אם אתם צריכים צ'אט ולא בסיס גולמי, יש גרסאות ייעודיות של כוונון והוראות. כשאין ברשותכם כרטיס חזק או כשצריכים שירות יציב בלי להגדיר קוד חיצוני, עדיף להשתמש בדמו ב־Lepton AI או ב־API קיים במקום להסתבך עם הגדרות סביבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="jetmoe/jetmoe-8b")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors2.3 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• images/Phase1_data.png373.1 KB
• images/Phase2_data.png370.5 KB
• images/jetmoe_architecture.png112.8 KB
• model.safetensors.index.json23.5 KB
• README.md6.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json968 B
• config.json649 B
• special_tokens_map.json437 B
• generation_config.json132 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים סגורים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ומסמך הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗