OpenHermes-2.5-Mistral-7B-16k-GGUF

מה זה

מדובר בהמרה של TheBloke למודל שעבר אימון על בסיס מיסטרל שבעה מיליארד פרמטרים. המקור אומן על מיליון דוגמאות שיחה שרובן נוצרו על ידי מודלים חזקים יותר, עם תוספת של שבעה עד 14 אחוז דאטה של קוד. התוספת הזו דחפה את התוצאה שלו במבחן הקוד HumanEval לציון של 50.7 אחוז במעבר ראשון, לעומת 43 אחוז בגרסה הקודמת.

ההבדל המרכזי כאן הוא הרחבת חלון ההקשר לשישה עשר אלף טוקנים לצד המרה לפורמט GGUF. החישוב והאימון הנוסף שיפרו מדדים כלליים של הבנה וידע כמו TruthfulQA וסט המבחנים של GPT4All, שבו הוא מחזיק ממוצע של 73.12, אבל פגעו בביצועים שלו במבחן BigBench. הפורמט הזה מאפשר להריץ אותו ישירות במעבד ובכרטיס המסך בלי תלויות מורכבות.

מתאים ל

• עוזר תכנות מקומי

  מציג שיפור לציון של 50.7 אחוז במבחן קוד, ורץ ישירות על לפטופ פיתוח ללא שליחת קוד החוצה.

• ניתוח מסמכים בינוניים

  חלון הקשר של 16 אלף טוקנים מאפשר להזין קבצים ארוכים יחסית בפורמט ChatML.

• סוכן שיחה מותאם תפקיד

  האימון כלל תבניות של משחקי תפקידים והנחיות מערכת גמישות לעיצוב אופי המענה.

איפה זה נופל

המודל הוגדר רשמית עבור אנגלית בלבד. אין שום תיעוד ליכולות שלו בעברית, ובמודלים בגודל שבעה מיליארד פרמטרים התמיכה בשפות שאינן אנגלית נוטה להישבר מהר. נוסף לכך, היוצרים עצמם ציינו שהאימון על הקוד פגע בתוצאות במבחן BigBench לעומת המודל המקורי, כך שמשימות של היגיון מופשט ומורכב עלולות להניב תוצאות פחות טובות. הרצה של חלון הקשר מלא של 16 אלף טוקנים תדרוש זיכרון נוסף מעבר למשקל הבסיסי ותאט את קצב יצירת הטקסט.

אותה משפחה

OpenHermes-2.5-Mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

ההרצה נעשית באמצעות ספריות כמו llama.cpp, תוכנות שולחניות כמו LM Studio, או בסביבת פייתון דרך חבילות דוגמת ctransformers ו־llama-cpp-python. הקובץ המומלץ לרוב השימושים הוא Q4_K_M במשקל 4.37 גיגה בייט, שדורש 6.87 גיגה זיכרון פנוי כדי לרוץ כולו במעבד, או כרטיס מסך ביתי עם שמונה גיגה VRAM לטעינה מלאה. גרסאות קטנות יותר כמו Q2_K יורדות לשלושה גיגה בייט אבל משלמות בירידה מורגשת באיכות הפלט, בעוד שגרסת Q8_0 תדרוש יותר מעשרה גיגה זיכרון.

המודל דורש מבנה שיחה מסוג ChatML כדי להגיב נכון, ומנהל את הרחבת ההקשר אוטומטית. שווה להריץ אותו מקומית אם המידע רגיש ואי אפשר להוציא אותו לרשת. אם המטרה היא מענה מהיר לכמות משתמשים בו־זמנית, חומרה ביתית תיחנק מול חלונות של 16 אלף טוקנים, ועדיף לשלם לפי קריאה לשירות ענן.

ollama run hf.co/TheBloke/OpenHermes-2.5-Mistral-7B-16k-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• openhermes-2.5-mistral-7b-16k.Q8_0.gguf7.7 GB
• openhermes-2.5-mistral-7b-16k.Q6_K.gguf5.9 GB
• openhermes-2.5-mistral-7b-16k.Q5_K_M.gguf5.1 GB
• openhermes-2.5-mistral-7b-16k.Q5_0.gguf5.0 GB
• openhermes-2.5-mistral-7b-16k.Q5_K_S.gguf5.0 GB
• openhermes-2.5-mistral-7b-16k.Q4_K_M.gguf4.4 GB
• openhermes-2.5-mistral-7b-16k.Q4_K_S.gguf4.1 GB
• openhermes-2.5-mistral-7b-16k.Q4_0.gguf4.1 GB
• openhermes-2.5-mistral-7b-16k.Q3_K_L.gguf3.8 GB
• openhermes-2.5-mistral-7b-16k.Q3_K_M.gguf3.5 GB
• openhermes-2.5-mistral-7b-16k.Q3_K_S.gguf3.2 GB
• openhermes-2.5-mistral-7b-16k.Q2_K.gguf3.1 GB
• README.md32.0 KB
• .gitattributes2.4 KB
• config.json31 B

הרישיון

רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקבצים והפצה שלהם בתוך מוצר, ללא תשלום תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים הלאה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗