xLSTM-7b

מה זה

מדובר במודל שפה שנשען על ארכיטקטורת xLSTM ולא על תשומת לב עצמית רגילה כמו ברוב המודלים המקבילים. הוא אומן על כ־2.3 טריליון טוקנים ממאגר DCLM ומקורות איכותיים נוספים, באמצעות תשתית xlstm-jax. המטרה כאן היא לבדוק אם אפשר לקבל ביצועי שפה מודרניים מבלי לשלם את מחיר החישוב הריבועי המוכר של טרנספורמרים.

מבחינת מבחני ביצועים, התוצאות מראות פערים חדים. במשימות ידע כללי והגיון בסיסי כמו Hellaswag עם 0.710 או MMLU עם 0.589 הוא עומד יפה, אבל במתמטיקה הוא מתרסק לגמרי. ציון של 0.004 ב־GSM8k וציון של 0.036 ב־Math אומרים בפועל שהוא לא מסוגל לפתור בעיות חישוב או הגיון כמותי ברמה שימושית.

מתאים ל

• מחקר ארכיטקטורות שפה

  בדיקת התנהגות מודלי xLSTM בגודל מלא מול טרנספורמרים רגילים.

• ייצור טקסט כללי באנגלית

  יצירת טקסט חופשי שלא דורש פתרון בעיות מתמטיות או לוגיקה מספרית.

• בדיקות יעילות זיכרון

  מדידת זמני ריצה ויציבות של קרנלים מבוססי triton על רצפים ארוכים.

איפה זה נופל

החיסרון המרכזי והברור ביותר הוא יכולת מתמטית אפסית, כפי שמעידות תוצאות המבחנים הרשמיות. מעבר לזה, המודל משתמש בקרנלים ייעודיים של triton שמחייבים התקנות מותאמות ישירות ממאגרי פיתוח, מה שעלול להקשות מאוד על יציבות של שרתים וסביבות עבודה רגילות. אין שום מידע בכרטיס לגבי תמיכה בעברית או התנהגות מחוץ לאנגלית, כך שלא כדאי לבנות עליו לעיבוד טקסט מקומי.

איך מריצים

כדי להריץ אותו צריך להתקין את ספריית xlstm לצד תלויות מגרסאות פיתוח עדכניות של transformers ושל triton, ונבדק שהוא עובד על פייתון 3.11. הקבצים שוקלים 25.6 גיגה־בייט ונשמרים בפורמט float32, מה שאומר שצריך כרטיס מסך עם לפחות 32 גיגה זיכרון כדי לטעון אותו ישירות בלי קוונטיזציה. יש גם אפשרות לוותר על הליבות של triton ולעבור למימוש פנימי של PyTorch אם יש בעיות תאימות.

אם אין לכם כרטיס מקומי חזק מספיק כמו A100 או H100, או לפחות חומרה עם זיכרון משמעותי, עדיף לחכות שמישהו יציע לו נקודת קצה מנוהלת בענן במקום להסתבך עם התקנת התלויות והקרנלים הייעודיים.

pip install -U huggingface_hub
hf download NX-AI/xLSTM-7b

הקבצים

17 קבצים במאגר, 25.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00006.safetensors5.0 GB
• model-00002-of-00006.safetensors5.0 GB
• model-00003-of-00006.safetensors4.8 GB
• model-00004-of-00006.safetensors4.8 GB
• model-00005-of-00006.safetensors4.8 GB
• model-00006-of-00006.safetensors3.0 GB
• tokenizer.json3.6 MB
• plot_tokens_per_sec.svg49.5 KB
• MMLUvsTrainToken.svg45.2 KB
• model.safetensors.index.json42.0 KB
• LICENSE10.3 KB
• tokenizer_config.json4.9 KB
• README.md3.8 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• special_tokens_map.json441 B
• generation_config.json137 B

הרישיון

הרישיון מוגדר תחת NXAI Community License ומסומן כרישיון מותאם אישית. הטקסט המלא נמצא בקובץ ייעודי במאגר ולא בכרטיס עצמו, ולכן חובה לקרוא אותו לעומק כדי לבדוק הגבלות מסחריות, מגבלות משתמשים או חובות הפצה לפני שמשלבים אותו בקוד של חברה.

הרישיון המלא בעמוד המודל ↗