huginn-0125

מה זה

במקום לעבור במסלול קבוע של שכבות קדימה, המודל הזה מחזיק בלוק חוזר של 1.5 מיליארד פרמטרים שרץ שוב ושוב על המצב הפנימי. סך הפרמטרים מגיע לכמעט 4 מיליארד, אבל בזמן הריצה קובעים את עומק החישוב לפי פרמטר בשם num_steps. מתחת לארבעה צעדים התוצאות גסות וחלשות, ובין ארבעה לשישים וארבעה צעדים הביצועים במשימות היגיון וקוד משתפרים בהתמדה. מעבר לשישים וארבעה צעדים המפתחים מדווחים שאין שיפור נוסף, כך שאין טעם לבזבז כוח עיבוד מיותר.

הוא אומן על 800 מיליארד טוקנים בלבד, שזה מעט מאוד ביחס למודלים מודרניים. למרות זאת, הוא כולל תמיכה מובנית בפורמט שיחה ישירות מאימון הבסיס ללא כוונון עדין נוסף, לצד מנגנונים שמאפשרים לו לעצור את החישוב מוקדם בכל טוקן ברגע שהתחזית מתייצבת.

מתאים ל

• מחקר על חישוב דינמי

  מאפשר לשלוט במספר צעדי הרקורסיה לכל טוקן ולבחון מדדי עצירה מוקדמת כמו יציבות ארגמקס.

• בדיקת חשיבה לטנטית בקוד

  מבצע משימות היגיון ותכנות בלי לייצר פלט טקסטואלי ארוך של שרשרת מחשבה.

• ניסויי דחיסת מטמון

  כולל תמיכה מובנית בדחיסת שכבות מפתח ערך לאורך החזרות כדי לחסוך בזיכרון בזמן ריצה.

איפה זה נופל

המודל אומן במשך 47,000 צעדים בלבד עם קצב למידה קבוע ועל תערובת נתונים שלא נבדקה לעומק. 800 מיליארד טוקנים הם תקציב אימון זעיר ביחס לסטנדרט התעשייתי. הוא תומך באנגלית בלבד ואינו מכיר עברית מעבר לתווים בודדים. בנוסף, מימושי המטמון המיוחדים שלו נוטים להישבר בעדכוני גרסאות של transformers, מה שהופך אותו ללא יציב לסביבות ייצור.

איך מריצים

כדי להריץ אותו צריך לתת לו לרוץ בקוד מרוחק עם trust_remote_code, כי הוא משתמש במימוש מטמון ייעודי בשם HuginnDynamicCache. הקבצים שוקלים כמעט 15 גיגה בייט בגלל באג ששמר שכבת שיבוץ כפולה בהעלאה, אבל הריצה עצמה דורשת bfloat16 ומסתדרת על כרטיס מסך בודד עם 16 עד 24 גיגה בייט זיכרון, תלוי באורך ההקשר ובכמות צעדי החישוב.

הוא לא מיועד לשירות דרך שרתי הסקה סטנדרטיים כמו vLLM בלי התאמות קוד עמוקות. אם המטרה היא סתם לקבל תשובות מהירות או לסגור פינה במוצר, עדיף להשתמש ב־API של מודל קטן ומסחרי. הריצה המקומית כאן משתלמת רק למי שרוצה לשלוט ישירות בכמות צעדי הרקורסיה או לבדוק אסטרטגיות עצירה מוקדמת.

from transformers import pipeline

pipe = pipeline("text-generation", model="tomg-group-umd/huginn-0125")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00004.safetensors4.8 GB
• model-00002-of-00004.safetensors4.7 GB
• model-00003-of-00004.safetensors4.7 GB
• model-00004-of-00004.safetensors1.4 GB
• asset1.gif3.0 MB
• tokenizer.json2.7 MB
• raven_modeling_minimal.py88.0 KB
• asset2.jpeg46.9 KB
• README.md13.7 KB
• tokenizer_config.json6.6 KB
• model.safetensors.index.json6.2 KB
• raven_config_minimal.py3.9 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• special_tokens_map.json435 B
• generation_config.json178 B

הרישיון

הקוד והמשקלים שוחררו ברישיון Apache 2.0. מותר להשתמש בהם לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו מחדש, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗