LLaMA-Pro-8B

מה זה

החוקרים של טנסנט לקחו את הבסיס המוכר של שבעה מיליארד פרמטרים, הוסיפו לו בלוקים של טרנספורמר ואימנו אותם על 80 מיליארד טוקנים של קוד ומתמטיקה. התוצאה היא מודל של 8.4 מיליארד פרמטרים שיושב על 40 שכבות, ומנסה לפתור את השחיקה הרגילה שקורית כשמאמנים מודל כללי על תחום ספציפי.

במבחנים התוצאה מעורבת. בבדיקות תכנות כמו HumanEval הוא קופץ לציון 28.66 לעומת 13.05 במודל המקורי, שיפור מורגש מאוד בכתיבת קוד פשוט. מצד שני, מול מודל שמיועד רק לקוד כמו CodeLLaMA-7B שמגיע ל־33.5, הוא עדיין מפסיד, ובמתמטיקה טהורה ב־GSM8K עם 17.89 מדובר בציון נמוך שלא מספיק לחישובים מורכבים.

מתאים ל

• השלמת קוד מקומית

  מתאים לשרת פיתוח פנימי שצריך להשלים שורות קוד ופונקציות קצרות בלי להוציא נתונים החוצה.

• אימון נוסף למשימות מעורבות

  בסיס טוב להמשך כוונון כשצריך מודל שמבין גם תיעוד באנגלית וגם תחביר של שפות תכנות.

• סוכן בדיקות אוטומטי

  ניתוח לוגים טכניים והפקת הסברים מילוליים קצרים על שגיאות תחביר בקוד.

איפה זה נופל

זהו מודל בסיס ולא גרסת שיחה, מה שאומר שהוא ממשיך טקסט ולא בהכרח עונה להוראות ישירות. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, שזה מעט מאוד לפרויקטים אמיתיים של תכנות שדורשים קריאת קבצים מרובים. יוצרי המודל מציינים במפורש שהוא עדיין מתקשה במשימות שדורשות התמחות עמוקה, ובמדדי מתמטיקה כמו GSM8K הוא מקבל ציונים חלשים שמראים שהוא לא מתאים לפתרון בעיות חישוביות רב-שלביות.

אותה משפחה

LLaMA-Pro יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־31.1 גיגה בייט בדיוק של bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון כדי לטעון אותו, או שתצטרכו לכווץ אותו לקוונטיזציה של 4 ביט כדי לדחוף אותו לחומרה ביתית. הוא רץ ישירות דרך ספריית transformers של פייתון.

אם אתם לא חייבים פרטיות מוחלטת או הרצה על שרת פנימי מנותק, עדיף להשתמש ב־API של מודל חיצוני. הטרחה סביב ניהול שרת והקצאת כרטיסי מסך כבדים לא תמיד מצדיקה את הביצועים של מודל בגודל הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="TencentARC/LLaMA-Pro-8B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 31.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin6.7 GB
• model-00002-of-00002.safetensors6.7 GB
• tokenizer.model499.7 KB
• model.safetensors.index.json35.1 KB
• pytorch_model.bin.index.json33.4 KB
• README.md2.1 KB
• .gitattributes1.5 KB
• tokenizer_config.json855 B
• config.json630 B
• special_tokens_map.json437 B
• generation_config.json183 B

הרישיון

הרישיון הוא רישיון לאמה 2 המקורי. הוא מתיר שימוש מסחרי ומחקרי, אבל כפוף להגבלות השימוש המקובלות של מטא, כולל איסור על שימוש בפלט לאימון מודלים מתחרים והגבלת משתמשים חודשית לחברות ענק.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗