GPT
הוספת כלי
N

Nous-Hermes-13b

קוד פתוח

NousResearchgpl2023-06-03

  • transformers
  • pytorch
  • llama
  • text-generation
  • self-instruct

גרסה מכווננת של לאמה עם 13 מיליארד פרמטרים שנועדה לתת מענה קרוב ל־GPT-3.5-turbo. היא אומנה בלי מנגנוני הסינון של OpenAI ומחזירה תשובות ארוכות ומפורטות יחסית לגודל שלה.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 434הורדות בחודש
  • 455לייקים

מה זה

הבסיס כאן הוא מודל של 13 מיליארד פרמטרים שעבר אימון על יותר מ־300,000 הוראות, כמעט כולן פלטים סינתטיים של GPT-4. החומרים כללו סטים מגוונים של קוד, שיחות, משחקי תפקידים, והוראות במדעים כמו ביולוגיה, פיזיקה, כימיה ומתמטיקה. תהליך האימון רץ מעל 50 שעות על מכונה של 8 כרטיסי A100 עם 80GB.

במדדים שפורסמו בכרטיס המודל, הוא מציג דיוק מנורמל של 0.8000 במבחן hellaswag ודיוק של 0.7948 ב־boolq, לצד דיוק מנורמל של 0.5085 ב־arc_challenge. התוצאות האלה מיקמו אותו במקום הראשון מול מודלים דומים ברשימה של GPT4All במבחנים כמו ARC ו־Hellaswag, מה שאומר שהוא מתמודד לא רע בכלל עם הסקת מסקנות ושאלות ידע כללי ביחס למודלי קוד פתוח מהתקופה שלו.

מתאים ל

  • בוטים לדיסקורד

    מתאים לבוטים של שיחה ומשחקי תפקידים, עם דוגמאות קוד ייעודיות שהמפתחים פרסמו לחיבור דרך transformers.

  • מענה טכני בקוד ומדעים

    אימון ייעודי על דאטה־סטים של CodeAlpaca ומדעים מאפשר לו לכתוב קוד ולפתור בעיות מוגדרות היטב.

  • עבודה ללא צנזורה מסחרית

    מספק תשובות מלאות ומפורטות במקומות שבהם מודלים מסחריים חוסמים את הפלט בגלל מגבלות תוכן.

איפה זה נופל

חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, והאימון עצמו בוצע על אורך של 2000, מה שמונע ממנו לנתח מסמכים ארוכים או לנהל שיחות מתמשכות בלי לגזום את ההיסטוריה. המודל מוגדר עבור השפה האנגלית בלבד, כך שלא כדאי לבנות עליו לפרויקטים בעברית.

בנוסף, הוא אומן בלי מנגנוני הצנזורה של OpenAI, ולכן אין עליו שכבת הגנה שמונעת פליטה של תכנים בעייתיים או לא בטוחים. במבחן openbookqa הוא הגיע לדיוק של 0.3560 בלבד, מה שמעיד על קושי בהבנה עמוקה של עובדות מתוך טקסט נתון.

שאלות
נפוצות

האם המודל תומך בעברית?

המודל מוגדר לשפה האנגלית בלבד. הוא לא אומן על עברית ולא מיועד למשימות בשפה הזו.

האם המודל מתאים לשימוש מסחרי במוצר סגור?

הרישיון המדווח הוא gpl. שימוש כזה מחייב זהירות משפטית, כי רישיונות מסוג זה עלולים לדרוש פתיחה של קוד המערכת שמסביב.

איך צריך לנסח את הבקשות למודל כדי לקבל תוצאה טובה?

האימון נעשה במבנה Alpaca, ולכן צריך לעטוף את השאלה בתגיות של Instruction ו־Response. סטייה מהמבנה הזה תפגע באיכות הפלט.

איך מריצים

המשקל המלא של הקבצים עומד על 24.2 GB בפורמט bfloat16, כך שצריך כרטיס גרפי ייעודי עם מספיק זיכרון וידאו כדי לטעון אותו, או לחכות לגרסאות מכווצות כמו GGML ו־GPTQ שהיוצרים ציינו שיעלו בהמשך. אם אין לכם חומרה כזו מקומית, ההרצה דורשת שרת ענן עם כרטיס מתאים ומערך תוכנה שמריץ transformers.

הקלט למודל חייב להיבנות לפי הפורמט של Alpaca, כלומר פקודת Instruction ולפניה שורת Response, אחרת איכות התשובות תרד משמעותית. אם אתם צריכים רק מענה מהיר מדי פעם ואין לכם תשתית מוכנה, פנייה ל־API מנוהל תהיה זולה ופשוטה יותר מלהחזיק שרת ייעודי דלוק.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Nous-Hermes-13b")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח בכרטיס המודל הוא gpl. רישיון כזה דורש בדרך כלל שכל פיתוח נגזר או שילוב שלו יופץ גם הוא תחת אותו רישיון קוד פתוח. מי שבונה מוצר קנייני וסגור צריך לבדוק היטב את תאימות הרישיון לפני הטמעה במערכת.

הרישיון המלא בעמוד המודל ↗