GPT
הוספת כלי
C

calme-3.2-instruct-78b

קוד פתוח

MaziyarPanahiother2024-11-19

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

הרחבה ניסיונית של Qwen2.5-72B שמוזגה עם עצמה ואומנה על דאטה מותאם. מתאימה למי שמחפש מודל קוד פתוח כבד במיוחד לשימושי טקסט כלליים באנגלית.

  • 78Bפרמטרים
  • 32,768טוקנים בהקשר
  • 290 GBמשקל הקבצים
  • 501הורדות בחודש

מה זה

מדובר במודל של 78 מיליארד פרמטרים שנבנה ממיזוג של מודל הבסיס Qwen2.5-72B עם עצמו, ולאחר מכן עבר אימון על נתונים מותאמים אישית. הוא פועל בארכיטקטורת ChatML ותומך בחלון הקשר של 32,768 טוקנים.

במדדי Open LLM Leaderboard הוא מציג ממוצע של 52.02 נקודות. במבחן IFEval הוא מגיע לציון גבוה של 80.63, מה שמעיד על הבנה טובה של הוראות מורכבות, וב־MMLU-PRO הוא עומד על 70.03. לעומת זאת, במשימות היגיון מדעי ומתמטיקה כמו GPQA הוא מקבל רק 20.36 נקודות, וב־MATH Lvl 5 מגיע ל־39.95. זה אומר שמדובר במודל חזק למלל כללי, אבל פחות מדויק בפתרון בעיות חישוביות עמוקות.

מתאים ל

  • מעקב אחר הוראות מורכבות

    ציון 80.63 ב־IFEval מראה שהוא מבצע הנחיות מובנות ומגבלות פורמט באנגלית בצורה מדויקת.

  • יצירה ועיבוד טקסט כללי

    המיזוג והאימון הנוסף מיועדים למשימות שפה כלליות שדורשות עומק של 78 מיליארד פרמטרים.

  • ניסויי מיזוג מודלים

    הוא בסיס מעניין לחוקרים ומפתחים שרוצים לבחון התנהגות של מיזוג עצמי בקנה מידה ענק.

איפה זה נופל

היוצר מציין במפורש שמדובר במודל ניסיוני, שעלול להגיב לא טוב לפרומפטים מסוימים ולהיות רגיש לשינויים בהיפר-פרמטרים. בנוסף, המודל אומן ותועד עבור אנגלית בלבד. אם תפנו אליו בעברית או תבקשו ממנו משימות הסקת מסקנות קשות, הוא עלול להיכשל בקלות, כפי שרואים בתוצאת ה־GPQA הנמוכה שעומדת על 20.36.

שאלות
נפוצות

האם המודל מתאים לעבודה בעברית?

הוא מוגדר לשפה האנגלית בלבד. הוא עשוי לפלוט מילים בעברית בזכות משפחת Qwen, אבל אי אפשר לסמוך עליו בטקסטים מקומיים בלי אימון ייעודי.

האם כדאי להעדיף אותו על פני Qwen2.5-72B המקורי?

לא בהכרח. זהו פרויקט ניסיוני עם רגישות גבוהה להיפר-פרמטרים, ולכן עדיף להריץ אותו רק אם אתם בודקים ספציפית את התנהגות המיזוג הזה.

איך מריצים

כדי להריץ את הגרסה המלאה ב־bfloat16 תצטרכו להוריד 290 גיגה-בייט של קבצים ולהחזיק חומרה רצינית מאוד, לפחות שני כרטיסי A100 או H100 עם 80GB כל אחד, שכן מדובר ב־86 שכבות של פרמטרים. המודל נתמך ישירות בספריית transformers עם פייפליין טקסט סטנדרטי.

למי שאין שרתים כאלה בענן או מקומית, ישנן גרסאות מכווצות בפורמט GGUF של bartowski וגרסת EXL2 של 4.5 ביט. אם אתם צריכים רק שאילתות מזדמנות ולא מחזיקים תשתית מתאימה, העלות והסרבול של הרמת שרת ייעודי כזה פשוט לא מצדיקים את המאמץ מול שימוש ב־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="MaziyarPanahi/calme-3.2-instruct-78b")
print(pipe("שלום"))

הקבצים

78 קבצים במאגר, 290 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT. המשמעות היא שלא ידוע אם מותר להשתמש בו במוצר מסחרי, ואי אפשר להטמיע אותו במערכת ייצור בלי לבדוק לעומק את תנאי השימוש שהיוצר הצמיד לקבצים.

הרישיון המלא בעמוד המודל ↗