GPT
הוספת כלי
L

llemma_34b

קוד פתוח

EleutherAIllama22023-09-27

  • transformers
  • pytorch
  • llama
  • text-generation
  • math

מודל ייעודי להוכחות ולפתרון בעיות מתמטיות מורכבות, שנבנה על בסיס קוד פתוח. הוא פונה למי שצריך חישובים והסקה לוגית מדויקת ולא סתם טקסט כללי.

  • 4,096טוקנים בהקשר
  • 126 GBמשקל הקבצים
  • 405הורדות בחודש
  • 102לייקים

מה זה

מדובר במודל שפותח על גבי המשקלים של Code Llama ועבר אימון נוסף על Proof-Pile-2, מאגר ייעודי של 50 מיליארד טוקנים מתמטיים. הוא תוכנן לפעול עם הנמקה של שלב אחר שלב, להריץ פייתון ככלי עזר ולעבוד מול מוכיחי משפטים פורמליים.

במבחני ביצועים מתמטיים הוא עוקף בבירור מודלים כלליים באותו סדר גודל. בבנצ'מרק GSM8k הוא מגיע ל־51.5% מול 29.6% של מודל הבסיס שלו, ובמבחן MATH הקשה הוא משיג 25% לעומת 12.2%. כשמפעילים הצבעת רוב בין כמה דגימות, הדיוק שלו מזנק ל־69.3% ב־GSM8k ומתקרב למודלים סגורים ענקיים כמו Minerva.

מתאים ל

  • פתרון בעיות מתמטיות

    מייצר הסברים מפורטים שלב אחר שלב בפתרון תרגילי מתמטיקה ברמה אקדמית.

  • אינטגרציה עם כלי הוכחה

    מתאים לעבודה משולבת עם שפות וסביבות של הוכחת משפטים פורמלית.

  • חישוב וכתיבת קוד פייתון

    יודע לנסח ולהריץ קוד סימבולי ונומרי ככלי עזר לפתרון שאלות מדעיות.

איפה זה נופל

הוא מוגבל לשפה האנגלית בלבד ולא יבין פרומפטים בעברית. בנוסף, חלון ההקשר שלו נעצר ב־4,096 טוקנים, מה שלא משאיר הרבה מקום למאמרים מדעיים שלמים יחד עם שרשרת חישוב ארוכה. חשוב לזכור שהוא אומן על מתמטיקה, ולכן הוא לא מתאים למשימות שיחה, כתיבה שיווקית או ניתוח טקסט כללי.

אותה משפחה

llemma יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

llemma_7b1,216

שאלות
נפוצות

האם אפשר להשתמש בו לפתרון בעיות בעברית?

לא. המודל אומן על אנגלית בלבד ואין לו תמיכה בחישובים או ניסוחים בעברית. אם תזינו לו טקסט בעברית התוצאות יהיו שבורות, ועדיף לתרגם את השאלות לאנגלית לפני הפנייה אליו.

מה עדיף, להריץ את גרסת ה־34B או את ה־7B?

גרסת ה־7B זולה וקלה בהרבה להרצה, אך בביצועים מתמטיים יש פער ניכר. ב־GSM8k גרסת ה־34B מקבלת 51.5% לעומת 36.4% בקטנה. לניסוי ראשוני קחו את ה־7B, אך למערכת ייצור שדורשת דיוק מקסימלי צריך את ה־34B.

איך מריצים

כדי להריץ 34 מיליארד פרמטרים בפורמט המקורי צריך שרת עם לפחות שני כרטיסי A100 או H100, היות וקבצי המשקלים לבדם שוקלים 126 גיגה בייט. אם אין לכם גישה לתשתיות כאלה בחברה, הרצה עצמאית תעלה אלפי שקלים בחודש בענן רק על שעות פעילות.

יש גרסת 7B קלה בהרבה שמתאימה לניסויים מקומיים, אבל הגרסה הזו מיועדת למי שחייב את הדיוק המרבי. אם אתם לא מאמנים אותו מחדש ולא חייבים את המידע מאחורי פיירוול סגור, עדיף לבדוק אם יש שירות API מנוהל שמארח אותו.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/llemma_34b")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 126 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 של מטא. הוא מאפשר שימוש מסחרי חופשי כל עוד אין לכם מעל 700 מיליון משתמשים פעילים בחודש, ובתנאי שאתם שומרים על תנאי השימוש המקוריים ולא משתמשים בפלט כדי לאמן מודלים מתחרים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗