GPT
הוספת כלי
G

glm-4-9b

קוד פתוח

zai-orgother2024-06-04

  • transformers
  • safetensors
  • chatglm
  • glm
  • thudm

מודל בסיס עם 9.4 מיליארד פרמטרים שמיועד להשלמת טקסט, קידוד ומשימות דו-לשוניות. הוא מציג ציונים גבוהים במיוחד במבחני ביצועים מול חלופות בגודל שמונה מיליארד.

  • 9.4Bפרמטרים
  • 17.5 GBמשקל הקבצים
  • 9,712הורדות בחודש
  • 144לייקים

מה זה

מדובר במודל הבסיס של סדרת GLM-4, להבדיל מגרסאות הצ'אט שכוללות התאמות לשיחה והפעלת כלים. הוא מגיע עם חלון הקשר של 8K טוקנים, תומך בעיקר בסינית ובאנגלית, ובנוי לעבוד ישירות מול ספריית transformers. הדגש פה הוא על יכולות גנרציה טהורות של מודל מקדים שמיועד לאימון המשך או להתאמה ספציפית.

במדדים הטכניים הוא מציג מספרים מרשימים לגודל שלו. במבחן MMLU הוא קיבל 74.7 מול 66.6 של Llama-3-8B הבסיסי, ובמבחן הקוד HumanEval הוא רושם 70.1 לעומת 62.2 בגרסת ה־Instruct של אותה מתחרה. התוצאות האלה מראות כוח חישובי וחשיבה לוגית חזקה למודל תחת עשרה מיליארד פרמטרים, במיוחד בהשוואה לדור הקודם ChatGLM3-6B.

מתאים ל

  • בסיס לכוונון מותאם

    אימון המשך על נתונים פנימיים בזכות ציונים גבוהים בלוגיקה ובמדעים ביחס לגודלו.

  • השלמת קוד מותאמת

    שילוב בפיתוח בזכות ציון של 70.1 במבחן HumanEval, שמציג יכולת קידוד מצוינת לגודל זה.

  • עיבוד טקסטים באנגלית וסינית

    יצירת טקסטים מדויקת בשפות היעד העיקריות שהמודל אומן עליהן ונבדק בהן במבחן C-Eval.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר התאמה להוראות או שיחה, כך שהוא לא יודע לענות לשאלות ישירות אלא רק להשלים טקסט. מעבר לכך, אין תיעוד לתמיכה סבירה בעברית והשפות הראשיות המדווחות הן אנגלית וסינית בלבד. כמו כן, חלון ההקשר שלו מוגבל ל־8K בלבד, בניגוד לגרסאות הצ'אט של אותה משפחה שמגיעות לנפחים ארוכים בהרבה, מה שהופך אותו ללא מתאים למסמכים ארוכים מהקופסה.

אותה משפחה

glm-4 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

glm-4-9b-chat88,119 glm-4-9b-chat-1m15,415

שאלות
נפוצות

האם המודל הזה מתאים לשימוש כצ'אטבוט?

לא באופן ישיר. מדובר במודל בסיס שמיועד להשלמת טקסט, ללא שכבת יישור והנחיות לשיחה. לצורך צ'אט או שימוש בכלים יש להשתמש בגרסת ה־Chat.

האם יש תמיכה מובנית בעברית?

לא מדווחת תמיכה כזו. המודל מתמקד באנגלית ובסינית, ולכן כל שימוש בעברית ידרוש בדיקה קפדנית של איכות הטקסט והטוקניזציה, או אימון ייעודי מראש.

האם אפשר להריץ אותו על מחשב נייד רגיל?

לא בקלות. המשקלים שוקלים 17.5 ג'יגה-בייט בדיוק מלא, מה שמחייב מעבד גרפי חזק עם זיכרון וידאו של כ־24 ג'יגה-בייט, אלא אם מבצעים המרה וכימות של המשקלים.

איך מריצים

כדי להריץ אותו צריך להוריד 17.5 ג'יגה-בייט של משקלים בפורמט bfloat16 המחולקים לעשרים וארבעה קבצים. זה דורש כרטיס מסך ייעודי עם לפחות 24 ג'יגה-בייט זיכרון כדי להחזיק את המודל ולייצר טקסט בלי לכווץ אותו, לצד גרסת transformers מ־4.44.0 ומעלה.

אם אתם מחפשים מודל מוכן לשיחה, לפקודות בעברית או לקריאות לפונקציות, עדיף לא להרים את גרסת הבסיס הזו בעצמכם. במקרים כאלה עדיף לפנות לגרסת ה־Chat שמגיעה עם הקשר של 128K או להשתמש ב־API ייעודי, במקום לשרוף משאבי שרת על כוונון מודל בסיס.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/glm-4-9b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 17.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון בעמוד מסומן כ־other ומפנה לקובץ תנאים נפרד ב־GitHub. המשמעות היא שזה לא רישיון קוד פתוח סטנדרטי כמו Apache או MIT, ואי אפשר להניח שמותר להשתמש בו לצרכים מסחריים בלי לקרוא היטב את תנאי השימוש המקוריים של המפתחים.

הרישיון המלא בעמוד המודל ↗