GPT
הוספת כלי
C

chatglm3-6b

קוד פתוח

zai-orgרישיון לא דווח2023-10-25

  • transformers
  • pytorch
  • safetensors
  • chatglm
  • glm

מודל שיחה דו לשוני בגודל 6.2 מיליארד פרמטרים. הוא מיועד למי שמחפש ריצה מקומית קלה עם תמיכה מובנית בקריאת פונקציות והרצת קוד באנגלית ובסינית.

  • 6.2Bפרמטרים
  • 23.3 GBמשקל הקבצים
  • 61,032הורדות בחודש
  • 1,166לייקים

מה זה

המודל הזה נבנה כדור שלישי בסדרה של דגמי שיחה קומפקטיים, והוא מתמקד בשימושי סוכן. לצד שיחה רגילה, הוא מגיע עם תבנית פרומפט חדשה שמיועדת להפעלת כלים חיצוניים, הרצת קוד בתוך מפרש ופתרון משימות מורכבות. הוא מתמקד בשתי שפות בלבד, סינית ואנגלית, ומשלב אימון רחב יותר מקודמיו בתחומי קוד, היגיון ומתמטיקה.

לפי הכרטיס, מודל הבסיס שלו מציג את הביצועים החזקים ביותר בין המודלים שנמצאים מתחת לרף של עשרה מיליארד פרמטרים. המשמעות בפועל היא יכולת סבירה לחלץ החלטות לוגיות ולעבוד מול ממשקי תוכנה, בלי לתפוס משאבים של מודלי ענק.

מתאים ל

  • בוט הפעלת כלים באנגלית

    הוא כולל תמיכה מובנית בזימון פונקציות וביצוע קוד, ולכן מתאים לשמש כרכיב שמחבר בין שיחה ל־API חיצוני.

  • עיבוד מידע דו לשוני

    הוא אומן לעומק על סינית ואנגלית, ולכן מתאים למשימות תרגום ועיבוד מסמכים בין שתי השפות האלו.

  • הרצה מקומית על כרטיס יחיד

    בזכות גודל של 6.2 מיליארד פרמטרים, הוא נכנס לחומרה צנועה יחסית ומאפשר עבודה ללא תלות ברשת.

איפה זה נופל

המודל מתמקד אך ורק בסינית ובאנגלית, ואין לו שום התאמה רשמית לעברית. אם תנסו לעבוד איתו בעברית, קרוב לוודאי שתקבלו תוצאות חלקיות, איטיות או משובשות לגמרי. בנוסף, מדובר במודל של 6.2 מיליארד פרמטרים, גודל שנוטה לטעויות בהסקת מסקנות מורכבת ואינו משתווה למודלים מובילים של עשרות מיליארדי פרמטרים.

אותה משפחה

chatglm3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

chatglm3-6b-base3,009 chatglm3-6b-32k533 chatglm3-6b-128k239

שאלות
נפוצות

האם המודל מתאים למוצרים שמכוונים לקהל ישראלי?

לא. הכרטיס מצהיר על תמיכה באנגלית ובסינית בלבד, ואין נתונים על יכולות בעברית. שימוש במודל לשפה המקומית יוביל כנראה לפלט לקוי ולא יתאים למוצר שפונה לישראל.

אפשר להוריד אותו ולהטמיע בחינם במוצר מסחרי?

השימוש המסחרי אמנם מוגדר כחינמי, אך הוא מותנה במילוי שאלון מקוון ורישום מול החברה המפתחת. השימוש בקוד פתוח תחת Apache 2.0, אך המשקולות כפופות לתנאי רישיון המודל שלהם.

איך מריצים

המשקל הכולל של הקבצים עומד על 23.3 גיגה בייט בפורמט float16, ומריצים אותו בעזרת ספריית transformers של פייתון, יחד עם חבילות כמו torch, accelerate ו־sentencepiece. כדי להעלות אותו לזיכרון של כרטיס מסך בפורמט המקורי תצטרכו כרטיס עם לפחות 16 גיגה זיכרון גרפי, אם כי היוצרים מזכירים שישנן שיטות כימות לחיסכון במשאבים.

אם אין לכם שרת ייעודי או כרטיס תואם, או אם אתם צריכים רק בדיקה מהירה, עדיף להשתמש בנקודת קצה מרוחקת במקום להוריד 27 קבצים ולתחזק סביבת עבודה מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/chatglm3-6b")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 23.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד בריפו מופץ תחת רישיון Apache 2.0, אך המשקולות עצמן דורשות ציות לרישיון מודל נפרד. מחקר אקדמי פתוח לחלוטין, ואילו שימוש מסחרי מותנה במילוי טופס שאלון מקוון ורישום מראש מול היוצרים, כך שאי אפשר פשוט לקחת אותו למוצר בלי לעבור את הרישום הזה.

הרישיון המלא בעמוד המודל ↗