GPT
הוספת כלי
L

NousResearch/Llama-2-7b-hf

קוד פתוח

NousResearchרישיון לא דווח2023-07-18

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת בסיס לא מכווננת של לאמה 2 שנועדה להתאמה אישית, למי שרוצה לאמן מודל משלו על תשתית מוכחת בלי התערבות של שיחות מובנות מראש.

  • 6.7Bפרמטרים
  • 4,096טוקנים בהקשר
  • 37.7 GBמשקל הקבצים
  • 253,429הורדות בחודש

מה זה

מדובר במודל בסיס של מטא שהומר למבנה של ספריית transformers בידי NousResearch. הוא אומן על 2 טריליון טוקנים וכולל 32 שכבות בדיוק float16. המודל מייצר טקסט בלבד ולא עבר כוונון לשיחה או יישור לפי העדפות אנושיות, כך שהוא פשוט משלים טקסט ולא עונה כמו צ׳אטבוט.

במבחנים האקדמיים הוא מציג שיפור ברור מול הדור הראשון של המודל באותו הגודל, עם ציון MMLU של 45.3 לעומת 35.1, וקפיצה במתמטיקה מ־6.95 ל־14.6. עם זאת, במשימות תכנות הוא מגיע לציון של 16.8 בלבד, מה שמבהיר שהוא דורש אימון נוסף כדי להתמודד עם קוד באופן שמיש.

מתאים ל

  • אימון מודל לתחום צר

    נקודת מוצא גולמית לכוונון עדין על מסמכים באנגלית בלי צורך לבטל הנחיות בטיחות קודמות.

  • השלמת טקסט חופשי

    יצירת המשכים למאמרים או סיפורים באנגלית כשנדרש מודל שרק מנבא את הטוקן הבא.

  • מחקר על מודלי שפה

    בדיקת התנהגות של מודלי בסיס לפני שלב היישור האנושי על גבי ארכיטקטורה סטנדרטית.

איפה זה נופל

זהו מודל בסיס שלא עבר תהליכי SFT או RLHF. הוא לא יודע לענות לשאלות כעוזר, ובמבחן TruthfulQA הוא קיבל רק 33.29 אחוז בתשובות נכונות ומדויקות, לצד מדד רעילות של 21.25 אחוז. הוא נוטה לפלוט מידע שגוי או מוטה אם לא מכוונים אותו היטב. בנוסף, חלון ההקשר שלו מוגבל ל־4,096 טוקנים, ונתוני האימון שלו נחתכו בספטמבר 2022, כך שאין לו מושג על אירועים מאוחרים יותר.

אותה משפחה

Llama-2 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

NousResearch/Llama-2-7b-chat-hf41,305 NousResearch/Llama-2-13b-hf4,531

שאלות
נפוצות

האם המודל תומך בעברית?

המודל הוגדר ואומן עבור השפה האנגלית בלבד, וכל שימוש בשפה אחרת הוגדר במפורש מחוץ לטווח השימוש המיועד. הוא עלול לפלוט ג׳יבריש או טעויות כבדות בעברית, ולכן לא מתאים לעבודה מקומית ללא אימון נוסף.

למה לא להשתמש ישר בגרסת ה־Chat?

גרסת הצ׳אט מוגבלת לתבניות שיחה קבועות עם תגיות מערכת והגבלות בטיחות נוקשות. אם אתם רוצים לאמן את המודל על סגנון כתיבה ייחודי, מבנה נתונים מסוים או משימת חילוץ מידע, גרסת הבסיס נותנת דף חלק בלי הטיות שיחה מוקדמות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־37.7 גיגה בייט, כך שצריך כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון רק כדי להעלות אותו בדיוק המקורי לזיכרון לעבודה שוטפת. ספריית transformers טוענת אותו ישירות בארכיטקטורת LlamaForCausalLM.

אם כל מה שאתם צריכים זה שירות שיחה מהיר באנגלית בלי אימון מותאם על דאטה פנימי, עדיף להשתמש ב־API מנוהל של גרסאות הצ׳אט. להרים שרת ייעודי למודל בסיס בגודל כזה משתלם רק כשאתם מתכוונים לבצע עליו כוונון עדין למשימה מוגדרת.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Llama-2-7b-hf")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 37.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל של NousResearch לא דווח רישיון רשמי, מה שיוצר בעיה משפטית ישירה. התיאור מפנה לרישיון המסחרי המותאם של מטא, שדורש הרשמה ואישור באתר שלהם לפני השימוש, אך היעדר הגדרה מפורשת במאגר הזה מחייב בדיקה משפטית לפני שילוב שלו בקוד מסחרי.

הרישיון המלא בעמוד המודל ↗