INTELLECT-1-Instruct

מה זה

הפרויקט הזה הציג מודל של עשרה מיליארד פרמטרים שאומן על טריליון טוקנים של קוד ואנגלית, כשהחישוב התחלק על פני 14 שרתים בשלוש יבשות שונות בעזרת אלגוריתם DiLoCo. שלב הליטוש כלל שרשרת ארוכה של אימוני SFT וחידוד עם DPO על ידי חברת Arcee AI, כולל זיקוק ישיר מתוך פלטים של Llama 3.1 405B ומיזוג גרסאות.

במבחני ביצועים הוא מציג מספרים מעורבים. עם תוצאה של 49.89 ב־MMLU וציון של 38.58 ב־GSM8K הוא עוקף בקלות דגמים ישנים כמו פלקון או MPT מאותו סדר גודל, ומתקרב לביצועים של לאמה 2 בגודל 13 מיליארד פרמטרים במתמטיקה. מצד שני, במבחני היגיון כללי כמו Hellaswag עם ציון 71.42 הוא נשאר מאחורי רוב מודלי ה־7B הוותיקים.

מתאים ל

• פתרון בעיות מתמטיקה בסיסיות

  הוא מגיע לתוצאה של 38.58 ב־GSM8K בזכות זיקוק נתונים ייעודי ממודלים גדולים ואימון על מאגרי שאלות.

• מחקר על אימון מבוזר

  בסיס מצוין לבדיקת אלגוריתמים כמו DiLoCo ומיזוג משקלים על חומרה מבוזרת וזולה.

• הפעלת פונקציות באנגלית

  עבר כוונון ייעודי על מאגר ToolACE שנועד לזיהוי קריאות לפונקציות וביצוע משימות מוגדרות.

איפה זה נופל

הנתונים מעידים על חולשה אמיתית בהבנת הקשר רחב והיגיון בסיסי, עם תוצאות נמוכות בבנצ'מרקים של שפה מול מודלים קטנים ממנו. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, מה שלא יספיק לניתוח מסמכים כבדים. הוא מאומן על אנגלית בלבד, כך שאין מה לבנות עליו לעבודה בעברית. אל תכניסו אותו לייצור בלי לבדוק קודם איך הוא עומד בהנחיות מורכבות.

אותה משפחה

INTELLECT-1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו במשקל המקורי של 19 ג'יגה בייט בפורמט bfloat16, צריך כרטיס מסך בודד עם לפחות 24 ג'יגה זיכרון, כמו RTX 3090 או A10. אם אין לכם את החומרה הזו בענן או במשרד, הפעלת גרסה כבדה כזו מקומית לא משתלמת ועדיף לפנות למודלים מוכנים ב־API מסחרי.

אם אתם מריצים אותו בקוד עצמאי דרך transformers, חובה להוסיף טוקן פתיחה מסוג BOS בתחילת כל בקשה, ולהשתמש בתבנית השיחה של לאמה 3.1. המפתחים מציינים שבלי הטוקן הזה הביצועים צונחים וההפסד ההתחלתי מזנק.

pip install -U huggingface_hub
hf download PrimeIntellect/INTELLECT-1-Instruct

הקבצים

14 קבצים במאגר, 19.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00005.safetensors5.0 GB
• model-00001-of-00005.safetensors5.0 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.5 GB
• model-00005-of-00005.safetensors1.1 GB
• tokenizer.json9.1 MB
• intellect-1-map.png131.7 KB
• tokenizer_config.json51.1 KB
• model.safetensors.index.json31.4 KB
• README.md8.7 KB
• .gitattributes1.5 KB
• config.json822 B
• special_tokens_map.json459 B
• generation_config.json143 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להפיץ אותו כחלק ממוצר סגור, בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי בקבצים שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗