GPT
הוספת כלי
N

Nous-Hermes-Llama2-13b

קוד פתוח

NousResearchmit2023-07-20

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת 13 מיליארד פרמטרים שאומנה על תשובות סינתטיות של GPT-4 בלי מנגנוני הצנזורה הרגילים. מתאים למי שמחפש מודל הוראות חופשי יחסית להרצה עצמית.

  • 13Bפרמטרים
  • 4,096טוקנים בהקשר
  • 48.5 GBמשקל הקבצים
  • 3,071הורדות בחודש

מה זה

המודל הזה מבוסס על Llama 2 ועבר כוונון עדין על יותר מ־300,000 הוראות, כמעט כולן פלטים של GPT-4 ממקורות כמו GPTeacher, WizardLM ו־CodeAlpaca. המטרה של המפתחים הייתה לשחזר את הסט שהיה בגרסה הראשונה על גבי הבסיס החדש יותר, כדי לקבל תשובות ארוכות יותר ופחות הזיות.

במבחני ביצועים הוא עוקף את הגרסה הקודמת שלו עם ממוצע של 70 במבחני GPT4All, כולל 0.80 ב־HellaSwag ו־0.83 ב־BoolQ. המספרים האלה מראים שהוא טוב יחסית בהבנת הנקרא ובהשלמת עובדות בסיסיות, אבל ב־OpenBookQA הוא עומד על 0.46 בלבד, מה שמראה ששאלות ידע שמצריכות היגיון מורכב עדיין מפילות אותו לעיתים קרובות.

מתאים ל

  • בוטים למשחקי תפקידים

    האימון כולל דאטה ייעודי לרולפליי וללא פילטרים של סירוב, מה שמאפשר שיחות פתוחות בדיסקורד.

  • מענה על הוראות מורכבות

    מתאים למשימות ניסוח וכתיבה באנגלית שדורשות תשובות מפורטות ומבנה מוגדר מראש.

  • יצירת קוד בסיסית

    כולל אימון על CodeAlpaca, ולכן מסוגל לייצר פונקציות וקטעי סקריפט קצרים לפי דרישה.

איפה זה נופל

הכרטיס מגדיר את השפה שלו כאנגלית בלבד, כך שאין מה לבנות עליו לעברית בלי כוונון נוסף. נקודה קריטית נוספת היא היעדר הצנזורה המכוון. המודל עלול לפלוט מידע שגוי, רעיל או בעייתי בלי שום מעצור פנימי, וחלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שלא מתאים למסמכים ארוכים.

אותה משפחה

Nous-Hermes-Llama2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Nous-Hermes-Llama2-70b173

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

המודל הוגדר ואומן עבור השפה האנגלית בלבד על בסיס נתונים שלא כלל עברית. הוא עשוי לפלוט מילים בודדות בעברית עקב בסיס Llama 2, אבל הטקסט יהיה משובש ולא אמין.

האם אפשר להריץ אותו על מחשב נייד רגיל?

לא בגרסה המקורית שדורשת קבצים בגודל של כמעט 50 גיגה בייט וכרטיס מסך מקצועי. בשביל להריץ אותו מקומית על חומרה ביתית צריך להוריד גרסה שעברה קוונטיזציה ולהשתמש בתוכנות ייעודיות כמו LM Studio.

איך מריצים

כדי להריץ אותו במשקל המקורי של 48.5 גיגה בייט בדיוק bfloat16 צריך כרטיס מסך חזק עם לפחות 24 עד 30 גיגה בייט זיכרון וידאו, או לחלק את השכבות בין כמה כרטיסים. המפתחים עצמם אימנו אותו על שרת של שמונה כרטיסי A100 עם 80 גיגה בייט כל אחד.

אם אין לכם חומרה ייעודית מקומית, עדיף להשתמש בגרסאות מכומתות דרך LM Studio שמוזכרת בתיעוד, או לפנות ל־API חיצוני. המודל דורש מבנה פרומפט קבוע של Alpaca עם תגיות Instruction ו־Response, ואם לא מקפידים על הפורמט הזה התוצאות מאבדות כיוון מהר מאוד.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Nous-Hermes-Llama2-13b")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 48.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח בעמוד הוא MIT, שמאפשר שימוש מסחרי מלא, שינוי והפצה ללא תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. חשוב לזכור שהמודל אומן על פלטים סינתטיים של GPT-4, מה שעלול לייצר חיכוך מול תנאי השימוש של OpenAI אם אתם בונים מוצר מתחרה ישיר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗