steerling-8b

מה זה

במקום המבנה הרגיל שרץ טוקן אחרי טוקן משמאל לימין, כאן מדובר במודל דיפיוזיה שחושף טוקנים לפי רמת הוודאות שלו בבלוקים של שישים וארבעה טוקנים. תשומת הלב הפנימית היא דו-כיוונית בתוך כל בלוק וסיבתית בין הבלוקים השונים. ארכיטקטורת SteerlingForCausalLM משלבת ראשי מושגים שמפרקים את הוקטורים הפנימיים ל־33,732 מושגים ידועים שניתן לפענח ולכוון, לצד עשרות אלפי מושגים לא ידועים ושארית לתיקון דיוק.

האימון שלו נשען על Nemotron-CC-HQ ועל מאגר Dolmino Mix למתמטיקה. הכרטיס לא מציג תוצאות מבחנים סטנדרטיים, כך שאי אפשר לדעת מראש איך הוא מתפקד בהשוואה למודלי שמונה מיליארד מקבילים במשימות ידע כללי או קוד. הערך העיקרי כאן הוא לא עוד מנוע גנרטיבי רגיל, אלא היכולת לפתוח את הקופסה השחורה ולשלוט ישירות במושגים הפנימיים בזמן הריצה.

מתאים ל

• מחקר יכולת פרשנות של מודלים

  הארכיטקטורה מפרקת את המצבים הפנימיים לעשרות אלפי מושגים מוגדרים שניתן לחקור ישירות.

• הכוונת תוכן ברמת המושג

  שליטה ידנית במשקולות של תכונות ידועות בזמן יצירת הטקסט ללא צורך באימון מחדש.

• בדיקת גישות דיפיוזיה לטקסט

  התנסות מעשית ביצירת טקסט שלא נשענת על חיזוי טוקנים עוקב רגיל.

איפה זה נופל

הוא מוגבל לאנגלית בלבד עם חלון הקשר קצר של 4,096 טוקנים, מה שלא מתאים לטקסטים ארוכים או מסמכים שלמים. מעבר לזה, הכרטיס מציין במפורש שהדאטהסט Nemotron-CC כולל תוכן סינתטי שנוצר במודלים כמו Qwen ו־DeepSeek, מה שעלול לייצר השפעות של מודלי מקור אחרים על הפלט.

איך מריצים

כדי להריץ אותו צריך להתקין את הספרייה הייעודית steerling מפייפון ולקרוא לקוד ישירות דרך SteerlingGenerator. הקבצים שוקלים 15.6 גיגה-בייט והמודל דורש בערך 18 גיגה-בייט של זיכרון גרפי בגלל דיוק bfloat16, כך שכרטיס עם 16 גיגה-בייט או פחות לא יספיק בכלל.

כרטיסי RTX 3090 או 4090 של 24 גיגה-בייט ומעלה, או כרטיסי A100 ו־A6000, יעבדו בלי בעיה מקומית. אין כאן אפשרויות קוונטיזציה מוכנות מראש להורדה ואין גרסאות מוקטנות, אז אם אין לכם חומרה ייעודית עם זיכרון מספק, תצטרכו להרים שרת ענן ייעודי בעצמכם.

pip install -U huggingface_hub
hf download guidelabs/steerling-8b

הקבצים

12 קבצים במאגר, 15.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.3 GB
• model-00002-of-00004.safetensors5.3 GB
• model-00001-of-00004.safetensors5.2 GB
• model-00004-of-00004.safetensors1.1 GB
• modeling_steerling.py78.7 KB
• model.safetensors.index.json21.5 KB
• tokenization_steerling.py5.6 KB
• README.md3.7 KB
• configuration_steerling.py3.5 KB
• config.json1.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json459 B

הרישיון

הקוד והמשקלים פורסמו תחת רישיון אפאצ'י 2.0, אבל המפתחים מציינים שהמשקלים נועדו למחקר ולהערכה וממליצים ליצור איתם קשר לגבי שימוש מסחרי. הסיבה היא נתוני האימון, שמגיעים מהסכמי שימוש של אנבידיה וכוללים טקסט סינתטי ממודלים של צד שלישי, כך שההשלכות המשפטיות על המוצר שלכם עדיין בבדיקה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗