Hermes-2-Pro-Mistral-7B-GGUF

מה זה

מדובר בעדכון מקיף ל־Nous Hermes 2 שמבוסס על Mistral 7B, כשהחידוש העיקרי הוא תוספת דאטה־סט פנימי לקריאות פונקציה ופלט מובנה. המודל נשען על פורמט ChatML עם תגיות מערכת ייעודיות לכלים, מה שהופך את השילוב שלו בקוד לפשוט בלי צורך בטריקים מורכבים של הנדסת פרומפטים.

במבחני ביצועים מול Fireworks.AI הוא הגיע לדיוק של 90 עד 91 אחוזים בקריאות פונקציה ובין 81 ל־84 אחוזים ביצירת JSON לפי סכמה. במבחנים כלליים כמו GPT4All הוא מציג ממוצע של 71.19, אבל ברור שהכוח האמיתי שלו נמצא באוטומציה של משימות ואינטגרציות API ולא בידע אנציקלופדי.

מתאים ל

• סוכן אוטומציה מבוסס כלים

  חילוץ קריאות API ופרמטרים מתוך שיחה ישירות לקוד, הודות לדיוק של 91 אחוזים במבחני הפעלת פונקציות.

• חילוץ מידע למבנה JSON

  המרת טקסט חופשי למבנה נתונים מוגדר לפי סכמה, עם דיוק מוכח של מעל 80 אחוזים בפלט מובנה.

• עוזר מקומי בצריכת זיכרון נמוכה

  הרצה מקומית על חומרה ביתית סביב 5GB זיכרון וידאו, שמתאימה למערכות שדורשות פרטיות מלאה.

איפה זה נופל

למרות השדרוג בכלים, יכולות ההסקה המורכבות עדיין מוגבלות מעצם היותו מודל 7B. במבחני BigBench הוא קיבל ממוצע של 41.65 וב־AGIEval עמד על 44.52 בלבד. בנוסף, במבחן TruthfulQA הוא עומד על 41 אחוזים במדד הראשון, מה שמראה נטייה להזיות.

חיסרון בולט נוסף הוא שהמודל אומן והוגדר רשמית עבור אנגלית בלבד. אם אתם בונים מערכת מבוססת עברית, לא הייתי מסתמך עליו לקריאות פונקציה מורכבות בלי לבדוק קודם היטב את תקינות הפלט.

אותה משפחה

Hermes-2-Pro-Mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל ארוז בפורמט GGUF, כך שהוא רץ ישירות דרך llama.cpp או כלים גרפיים כמו LM Studio. לפי המפתחים, גרסת 4bit דורשת סביב 5GB זיכרון כרטיס מסך, מה שמאפשר להריץ אותו בקלות על כרטיסים ביתיים פשוטים או מחשבי מק עם זיכרון משותף.

הריפו מכיל 14 קבצים בנפח כולל של 50.9GB שמכסים דרגות כימות שונות, כך שאפשר לבחור קובץ יחיד שמתאים למגבלות הזיכרון שלכם במקום להוריד הכל. אם אתם צריכים רק ממשק שיחה בסיסי ללא פונקציות, LM Studio יעבוד מיד, אך להפעלת כלים תצטרכו להשתמש בקוד הפייתון הייעודי שהצוות שחרר.

ollama run hf.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

14 קבצים במאגר, 50.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Hermes-2-Pro-Mistral-7B.Q8_0.gguf7.7 GB
• Hermes-2-Pro-Mistral-7B.Q6_K.gguf5.9 GB
• Hermes-2-Pro-Mistral-7B.Q5_K_M.gguf5.1 GB
• Hermes-2-Pro-Mistral-7B.Q5_0.gguf5.0 GB
• Hermes-2-Pro-Mistral-7B.Q5_K_S.gguf5.0 GB
• Hermes-2-Pro-Mistral-7B.Q4_K_M.gguf4.4 GB
• Hermes-2-Pro-Mistral-7B.Q4_K_S.gguf4.1 GB
• Hermes-2-Pro-Mistral-7B.Q4_0.gguf4.1 GB
• Hermes-2-Pro-Mistral-7B.Q3_K_L.gguf3.8 GB
• Hermes-2-Pro-Mistral-7B.Q3_K_M.gguf3.5 GB
• Hermes-2-Pro-Mistral-7B.Q3_K_S.gguf3.2 GB
• Hermes-2-Pro-Mistral-7B.Q2_K.gguf2.7 GB
• README.md17.6 KB
• .gitattributes2.4 KB

הרישיון

המודל משוחרר ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי לחלוטין, שינוי של הקוד והמשקלים והפצה במוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי, בלי אחריות מצד המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗