GPT
הוספת כלי
L

llemma_7b

קוד פתוח

EleutherAIllama22023-09-12

  • transformers
  • pytorch
  • llama
  • text-generation
  • math

מודל שפה של שבעה מיליארד פרמטרים שמתמחה בפתרון בעיות מתמטיות ובהוכחות. הוא נבנה על בסיס קוד וטקסט ייעודי ומביס מודלים כלליים באותו סדר גודל.

  • 4,096טוקנים בהקשר
  • 25.1 GBמשקל הקבצים
  • 1,216הורדות בחודש
  • 113לייקים

מה זה

הבסיס כאן הוא משקלים של Code Llama 7B שאומנו על מאגר Proof-Pile-2 בעוד מאתיים מיליארד טוקנים. הרעיון היה לקחת מודל שכבר מבין קוד ולהעמיק לו את היכולת להסיק מסקנות מתמטיות שלב אחרי שלב, כולל שילוב כלים כמו פייתון והוכחת משפטים פורמלית.

במדד GSM8k הוא מגיע ל־36.4% במענה ישיר לעומת 11.8% של Llama 2 בגודל זהה, ובמבחן MATH הוא מוציא 18% לעומת 4.5% של Code Llama 7B. כשרותמים הצבעת רוב במבחנים הללו התוצאות קופצות, למשל 54% ב־GSM8k, מה שמראה שהידע שם גם אם הוא מפספס לעיתים בניסיון ראשון.

מתאים ל

  • פתרון בעיות מתמטיות

    מייצר שרשראות חשיבה לחישובים מורכבים ברמת דיוק גבוהה משמעותית ממודלים כלליים בגודל 7B.

  • שילוב פייתון למתמטיקה

    מסתמך על הבסיס של קוד כדי לכתוב ולהריץ סקריפטים שמבצעים הוכחות וחישובים מדויקים.

  • הוכחת משפטים פורמלית

    מתאים לסיוע למערכות בדיקה ממוחשבות בזכות האימון על Proof-Pile-2.

איפה זה נופל

למרות השיפור על פני מודלים כלליים, המודל פותר ישירות רק 18% ממבחן MATH, כך שברוב השאלות המורכבות הוא עדיין טועה בלי הכוונה חיצונית או דגימות מרובות. המודל מתמקד בשפה האנגלית בלבד, ואין לו הכשרה או התאמה לעברית. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים, מה שלא יספיק לשרשראות חישוב ארוכות במיוחד או לניתוח מאמרים שלמים.

אותה משפחה

llemma יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

llemma_34b405

שאלות
נפוצות

האם הוא מסוגל לענות על שאלות מתמטיקה בעברית?

הוא אומן על טקסטים וקוד באנגלית בלבד. אם תפנו אליו בעברית הביצועים ייפגעו קשות או שהוא ייכשל לחלוטין, ולכן חובה לתרגם את השאלות מראש.

האם שווה לבחור בו במקום בגרסת 34B?

גרסת 7B מתאימה אם אתם מוגבלים לחומרה מקומית של כרטיס בודד ורוצים עלויות ריצה נמוכות. אם הדיוק הוא השיקול הבלעדי, גרסת 34B עוקפת אותו בכל המדדים בפער ניכר.

איך מריצים

טעינה מלאה של המשקלים בפורמט bfloat16 תופסת מעל 25 ג'יגה בייט זיכרון, כך שאי אפשר להריץ אותו בנוחות על כרטיס ביתי פשוט של 16 ג'יגה בייט בלי לכמת אותו מראש. תצטרכו כרטיס עם 24 ג'יגה בייט זיכרון גרפי לפחות כדי לעבוד איתו חלק, דרך transformers ופייתון.

אם אתם צריכים ביצועים חזקים בהרבה יש גרסת 34B באותה סדרה, אבל היא דורשת חומרה כבדה ורצינית בהרבה. למי שצריך רק מענה מתמטי מזדמן בלי דרישות פרטיות מקומיות, הפעלה של שרת ייעודי עבורו תהיה יקרה ומיותרת לעומת שימוש במודלים גדולים דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/llemma_7b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא llama2, מה שמאפשר שימוש מסחרי ומחקר תחת התנאים המקוריים של חברת מטא. אפשר להטמיע אותו במוצר חופשי, בתנאי שאתם לא מפרים את מדיניות השימוש ומקבלים את ההגבלות לגבי מוצרים עם מאות מיליוני משתמשים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗