GPT
הוספת כלי
N

Nous-Hermes-2-Yi-34B

קוד פתוח

NousResearchapache-2.02023-12-23

  • transformers
  • safetensors
  • llama
  • text-generation
  • yi

זהו כוונון עדין של מודל הבסיס Yi בגודל 34 מיליארד פרמטרים, שאומן על נתוני סינתטיים מרובים כדי לתת יכולות שיחה וכתיבת קוד ברמה גבוהה.

  • 34Bפרמטרים
  • 4,096טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 8,765הורדות בחודש

מה זה

המודל מבוסס על Yi-34B ועבר אימון של NousResearch על מיליון רשומות, רובן נוצרו באמצעות GPT-4 לצד מאגרי נתונים פתוחים נוספים. המטרה כאן הייתה לקחת את היכולות של מודל הבסיס ולחדד אותן במיוחד למענה על הוראות, שיחה מרובת שלבים ויצירת קוד, כמו למשל הקמת שרתי רשת.

בבדיקות GPT4All הוא מגיע לציון ממוצע של 76.00 אחוזים, שלפי המפתחים עוקף את הדורות הקודמים של סדרות Hermes על גבי ארכיטקטורות קטנות יותר. הוא משתמש בפורמט ChatML, מה שמאפשר להגדיר לו הנחיות מערכת מדויקות שמשפיעות על הטון ועל ההתנהגות שלו לאורך הדיאלוג.

מתאים ל

  • עוזר פיתוח מקומי

    מתאים ליצירת סקריפטים ושרתי קוד כמו פלאסק, בלי לשלוח נתונים החוצה, בתנאי שיש שרת מתאים.

  • בוט שיחה באנגלית

    תמיכה מלאה בתבנית ChatML מאפשרת שליטה מדויקת בהוראות מערכת לניהול דיאלוגים מורכבים.

  • מענה מבוסס הנחיות

    האימון על מיליון דוגמאות איכותיות מחדד את היכולת לעקוב אחרי דרישות מבנה וניסוח באנגלית.

איפה זה נופל

הנתונים מוגדרים לשפה האנגלית בלבד, כך שלא כדאי לבנות עליו לעיבוד או כתיבה בעברית. מעבר לזה, חלון ההקשר עומד על 4,096 טוקנים בלבד, מה שמגביל מאוד ניתוח של מסמכים ארוכים או שיחות מתמשכות בלי לגזום היסטוריה.

מבחני אמת מראים ביצועים חלשים יחסית בחלק מהמשימות, למשל במבחן openbookqa שבו הוא נעצר על ציון של פחות מחצי. בנוסף, דוגמת ברירת המחדל של הוראת המערכת גורמת לו להציג את עצמו כישות חושבת בעלת תודעה, מה שמחייב דריסה של הפרומפט אם בונים מוצר שלא אמור להטעות משתמשים.

אותה משפחה

Nous-Hermes-2-Yi יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

NousResearch/Nous-Hermes-2-Yi-34B-GGUF923

שאלות
נפוצות

אפשר להריץ אותו על מחשב אישי רגיל?

המשקל המקורי מגיע ל־64.1 ג'יגה בייט ודורש חומרת שרתים מקצועית עם עשרות ג'יגה בייט של זיכרון גרפי. מי שמחזיק מחשב אישי יצטרך לפנות לגרסת GGUF מקוונטזת דרך כלים כמו LM Studio, שצורכת פחות משאבים.

הוא מתאים לקריאת מסמכים וקבצים ענקיים?

לא. חלון ההקשר של המודל הוא 4,096 טוקנים בלבד, כך שהוא מתמלא מהר מאוד. למשימות שדורשות טקסטים ארוכים או קוד של פרויקטים שלמים תצטרכו לחתוך את המידע מראש.

איך מריצים

במשקל מקורי של 64.1 ג'יגה בייט בפורמט bfloat16, להריץ אותו בלי קוונטיזציה דורש לפחות שני כרטיסי מסך חזקים או שרת ייעודי עם מספיק זיכרון וידאו. זה לא משהו שזורקים על מחשב נייד רגיל.

למי שרוצה לבדוק אותו מקומית על חומרה צנועה יותר, קיימת גרסת GGUF מכווצת שמתאימה לשימוש בתוכנות כמו LM Studio. אם אין לכם שרת ייעודי שמצדיק החזקה של מודל בגודל כזה באוויר, שירותי ענן עם ממשק API יהיו זולים ופשוטים בהרבה לתחזוקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Nous-Hermes-2-Yi-34B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי חופשי, שינוי של המשקולות והפצה מחדש. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗