OpenHermes-2.5-Mistral-7B

מה זה

הבסיס כאן הוא מודל מיסטרל עם שבעה נקודה שניים מיליארד פרמטרים שעבר כוונון עדין על מיליון רשומות, בעיקר נתונים שיוצרו עם ג'יפיטי ארבע. האימון שילב בין שבעה לארבעה עשר אחוז נתוני קוד. השילוב הזה הקפיץ את הביצועים גם במשימות כלליות לגמרי, כמו מבחני ידע והיגיון, ולא רק בתכנות.

במבחן היומן־אוול למשל, הגרסה הזו עלתה מ־43 אחוז הצלחה בריצה ראשונה ל־50.7 אחוז ביחס לגרסה שקדמה לה. הוא משתמש בפורמט צ'אט־אם־אל, אותו מבנה הודעות שמכירים מהממשק של אופן איי איי, מה שמאפשר לו להחזיק שיחות מרובות תורות ולהישמע להוראות מערכת קפדניות הרבה יותר טוב ממודלים פתוחים ישנים יותר בגודל הזה.

מתאים ל

• בוט שיחה לאתר באנגלית

  תמיכה מלאה בפורמט צ'אט־אם־אל מאפשרת ניהול תפקידים ושיחות ארוכות בהתבסס על פרומפט מערכת קשיח.

• סיוע בכתיבת סקריפטים

  ציון של 50.7 אחוז במבחן יומן־אוול מספק יכולת טובה לחילוץ פונקציות קצרות וקוד פייתון פשוט.

• עיבוד מקומי של מידע רגיש

  מאפשר ריצה מקומית על חומרה צנועה יחסית ללא תלות ברשת חיצונית ובלי לשלוח מידע לצד שלישי.

איפה זה נופל

למרות השיפור הכללי, הוספת נתוני הקוד באימון פגעה ישירות בביצועים שלו במבחן ביג־בנץ'. בנוסף, שפת המודל המוגדרת היא אנגלית בלבד, כך שלא הייתי בונה עליו לעיבוד טקסטים מורכבים בעברית. המודל הסתמך בכבדות על נתונים סינתטיים ממודל מסחרי חזק, מה שעלול לייצר ביטחון עצמי מופרז בתשובות שגויות. צריך לבדוק אותו ביסודיות מול מקרי קצה ספציפיים לפני שסומכים עליו בתהליכים אוטומטיים.

איך מריצים

המשקל המלא בדיוק של בי־פלואוט שש־עשרה תופס 27 ג'יגה־בייט ומחולק לחמישה עשר קבצים. כדי להריץ אותו ככה במקור תצטרכו כרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון וידאו. מי שרוצה להריץ אותו מקומית על מחשב אישי יפנה כמעט תמיד לגרסאות מכווצות כמו ג'י־ג'י־יו־אף או קוואנטים אחרים דרך כלים דוגמת אל־אם סטודיו.

אם אתם צריכים רק מענה מזדמן ולא מערכת שרצה אצלכם בתוך הרשת הפרטית, עדיף לפנות לממשק רשת מנוהל שמוכר טוקנים. הקמה ותחזוקה של מכונה ייעודית עם כרטיס תואם שוות את המאמץ רק כשיש דרישה ברורה לפרטיות מידע או תעבורה רציפה.

from transformers import pipeline

pipe = pipeline("text-generation", model="teknium/OpenHermes-2.5-Mistral-7B")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.model493.4 KB
• model.safetensors.index.json25.1 KB
• pytorch_model.bin.index.json23.9 KB
• README.md14.8 KB
• tokenizer_config.json1.6 KB
• .gitattributes1.5 KB
• transformers_inference.py1.4 KB
• config.json624 B
• generation_config.json120 B
• special_tokens_map.json101 B
• added_tokens.json51 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקבצים ולשלב אותם במוצרים סגורים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗