Hermes-4.3-36B-GGUF

קוד פתוח

NousResearchapache-2.02025-11-25

transformers
gguf
Bytedance Seed
instruct
finetune

גרסת GGUF של מודל חשיבה עם 36 מיליארד פרמטרים. הוא מיועד למי שרוצה ביצועי היגיון וקוד חזקים בלי מנגנוני סירוב מוגזמים שחוסמים בקשות תקינות.

191 GBמשקל הקבצים
9,714הורדות בחודש
84לייקים

מה זה

המודל מתבסס על ארכיטקטורת Seed 36B ועבר אימון פוסט מבוזר על כשישים מיליארד טוקנים. הוא משלב מצב היברידי שבו המודל מחליט בעצמו מתי לפתוח תגיות חשיבה כדי לפרק בעיות מורכבות במתמטיקה ובקוד, ומתי לענות מיד. הייחוד העיקרי שלו מול מודלים אחרים בקטגוריית המשקל הזו הוא ההתמקדות בהיענות גבוהה. במבחן RefusalBench הוא עונה על יותר משבעים אחוז מהשאלות, פער ניכר לעומת רוב הדגמים המסחריים שנוטים לסרב לבקשות גבוליות.

במבחני ביצועים הוא מציג ציונים גבוהים של 93.8 במבחן MATH-500 וציון של 80.7 ב־MMLU-Pro. המספרים האלה מראים שהוא מתמודד היטב עם בעיות חשיבה מובנות ומדעיות, ומתחרה ישירות במודלים כבדים בהרבה מאותו בית יוצר.

מתאים ל

חילוץ מבנים ותיקון פלט
אימון ייעודי ליצירת JSON תקין לפי סכמה ותיקון אובייקטים שבורים.
פתרון בעיות מתמטיקה וקוד
שימוש בתגיות חשיבה מובנות לניתוח שרשראות לוגיות מורכבות.
הפעלת כלים וקריאות פונקציה
תמיכה מובנית בתחביר ייעודי להפעלת כלים ישירות מתוך המודל.

איפה זה נופל

החולשה הבולטת ביותר במבחנים היא במבחן SimpleQA, שבו המודל קיבל ציון נמוך של 6.0 בלבד לעומת 17.9 בגרסת ה־70B. הנתון הזה מצביע על נטייה להזיות בעובדות יבשות ושאלות ידע כללי קצרות. בנוסף, המודל אומן על שפה אנגלית בלבד, כך שלא כדאי להסתמך עליו לעיבוד עברית, ושיעור הסירוב הנמוך מחייב אתכם לבנות שכבת בדיקות משלכם אם אתם משלבים אותו מול משתמשי קצה.

אותה משפחה

Hermes-4.3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Hermes-4.3-36B3,702

שאלות
נפוצות

איך מפעילים את מצב החשיבה המעמיק?

אפשר להעביר פרמטר ייעודי בתבנית השיחה או להגדיר בהוראת המערכת למודל להשתמש בתגיות ייעודיות למונולוג הפנימי שלו לפני הפקת התשובה.

האם המודל מתאים למוצר שדורש תשובות עובדתיות מדויקות?

לא בלי אימות חיצוני. הציון הנמוך במבחן SimpleQA מראה שהוא עלול לייצר תשובות שגויות בשאלות עובדתיות, ולכן עדיף להצמיד לו כלי חיפוש או שליפת מידע.

איך מריצים

כדי להריץ קבצי GGUF של מודל בגודל 36 מיליארד פרמטרים תצטרכו מחשב חזק עם מספיק זיכרון מעבד או כרטיס מסך בעל נפח זיכרון משמעותי, בהתאם לרמת הקוונטיזציה שתורידו. המאגר כולל מספר קבצים בנפח כולל של 191 ג'יגה־בייט, כך שצריך לבחור את הקובץ המתאים לחומרה שלכם ולא להוריד את כולם סתם.

אם אין לכם כרטיסי מסך מתאימים להרצה מקומית שוטפת, אפשר להשתמש בממשקי API של ספקים חיצוניים כמו Chutes או Nous Portal שהוזכרו בדף המודל, במקום להשקיע בחומרה ייעודית.

ollama run hf.co/NousResearch/Hermes-4.3-36B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

hermes-4_3_36b72.3 GB Q8_038.4 GB Q6_K29.7 GB Q5_K_M25.6 GB Q4_K_M21.8 GB Q3_K_M17.6 GB

הקבצים

8 קבצים במאגר, 191 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לארח אותו כשירות ולשלב אותו במוצרים פרטיים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗