GPT
הוספת כלי
N

Nous-Hermes-2-Mixtral-8x7B-DPO

קוד פתוח

NousResearchapache-2.02024-01-11

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • Mixtral

גרסה מכווננת לארכיטקטורת תערובת מומחים שעברה יישור ישיר עם העדפות אנושיות. היא עוקפת את מודל הבסיס של מיסטרל במבחני ביצועים ומיועדת למי שרוצה חלופה פתוחה ברמה גבוהה.

  • 47Bפרמטרים
  • 32,768טוקנים בהקשר
  • 87.0 GBמשקל הקבצים
  • 12,874הורדות בחודש

מה זה

מדובר במודל שמבוסס על שמונה מומחים ונשען על אימון של מעל מיליון דוגמאות שרובן נוצרו על ידי מודלים מתקדמים. התוצאה כאן כוללת כוונון עדין יחד עם אופטימיזציה מבוססת העדפות, מה שמחדד את היכולת שלו להגיב בדיוק להנחיות מערכת ארוכות ומורכבות.

במבחני ביצועים כמו מבחן ההסקה של ביג בנץ הוא מגיע לציון של 49.70 ובמבחני ידע כללי של ג'י פי טי פור אול לציון ממוצע של 75.70. בפועל המספרים האלה מראים שהוא מנצח את מודל ההוראות המקורי של מיסטרל, בעיקר במשימות שדורשות מעקב אחרי תבניות שיחה מובנות בפורמט צ'אט אמ אל.

מתאים ל

  • בוטים מרובי תורות

    תמיכה מלאה בתבנית צ'אט אמ אל מאפשרת ניהול שיחות מורכבות עם הגדרת תפקידים מדויקת.

  • יצירת קוד להדמיית נתונים

    האימון על נתוני איכות מעניק לו יכולת לייצר קוד תקין לשרטוטים והמחשות לפי דוגמאות הכרטיס.

  • תרגום לאחור של הנחיות

    היכולת לקחת טקסט גולמי ולשחזר ממנו את הפרומפט המקורי בצורה מובנית.

איפה זה נופל

הכרטיס מוגדר רשמית רק לשפה האנגלית ואין בו שום התייחסות לתמיכה בעברית. מי שינסה להשתמש בו ליישומים מקומיים יצטרך לבדוק בעצמו אם המודל לא מתבלבל בתחביר או מייצר הזיות. בנוסף, במשימת אופן בוק קיו איי הוא קיבל ציון נמוך יחסית של 34.40 בדיוק הבסיסי, מה שמראה על קושי בשליפת עובדות מתוך הקשר פתוח.

אותה משפחה

Nous-Hermes-2-Mixtral יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF2,688 Nous-Hermes-2-Mixtral-8x7B-SFT377

שאלות
נפוצות

האם כרטיס מסך ביתי בודד של 24GB יספיק להרצת המודל?

לא עבור המשקלים המקוריים. אפילו בגרסת ארבעה ביט המפתחים מציינים שנדרש יותר מנפח הזיכרון הזה להסקה.

מה ההבדל בין גרסת הדי פי או לגרסת האס אף טי הרגילה?

גרסת הדי פי או עברה שלב נוסף של אופטימיזציית העדפות ישירה על גבי האימון הראשוני. זה משפר את הדיוק וההיצמדות להוראות המשתמש.

איך מריצים

כדי להריץ את משקלי המקור המלאים בפורמט המקורי צריך זיכרון וידאו עצום של קרוב למאה גיגה בייט, שזה מעבר להישג ידם של רוב השרתים הבודדים. גם בגרסאות מכווצות לארבעה ביט הכרטיס מבהיר שצריך יותר מעשרים וארבעה גיגה בייט זיכרון וידאו כדי לעשות הסקה.

אם אין לכם מערך של כמה כרטיסים גרפיים חזקים או שרת ייעודי, עדיף לפנות לגרסאות מקוונטטות כמו קובצי ג'י ג'י יו אף דרך אל אם סטודיו על גבי מעבדים חזקים, או לצרוך אותו דרך נקודת קצה חיצונית.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO")
print(pipe("שלום"))

הקבצים

30 קבצים במאגר, 87.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗