GPT
הוספת כלי
C

chatglm3-6b-base

קוד פתוח

zai-orgרישיון לא דווח2023-10-26

  • transformers
  • pytorch
  • chatglm
  • glm
  • thudm

מודל בסיס בגודל 6 מיליארד פרמטרים שמתמקד בסינית ובאנגלית. הוא מיועד למי שרוצה לאמן או לכוונן מודל משלו מאפס ולא מחפש צ'אטבוט מוכן מהקופסה.

  • 11.6 GBמשקל הקבצים
  • 3,009הורדות בחודש
  • 87לייקים

מה זה

מדובר בגרסת הבסיס הלא מכווננת של סדרת ChatGLM3. לפי המפתחים, המודל אומן על מגוון רחב יותר של נתונים, עם יותר צעדי אימון ואסטרטגיה משופרת לעומת הדורות הקודמים. הם טוענים לביצועים חזקים במיוחד תחת קטגוריית המודלים של עד 10 מיליארד פרמטרים, במבחני סמנטיקה, מתמטיקה, הסקת מסקנות, קוד וידע כללי.

בניגוד לגרסת הצ'אט שמגיעה עם תמיכה מובנית בסוכנים, קריאות לפונקציות והרצת קוד, המודל הזה הוא מנוע גולמי להשלמת טקסט בלבד. הוא תומך רשמית באנגלית ובסינית, כך שעבור משימות בעברית הוא כנראה ידרוש השקעה נפרדת באימון נוסף כדי לתת תוצאות שמישות.

מתאים ל

  • אימון ייעודי למשימות ספציפיות

    מתאים כבסיס גולמי לכוונון עדין על דאטה פנימי, בלי לקבל הטיות של מודל שיחה קיים.

  • השלמת טקסט בסינית ובאנגלית

    יודע לקבל קטע טקסט ולהמשיך אותו בצורה ישירה על בסיס הידע שצבר באימון הראשוני.

  • מחקר על מודלים קטנים

    משקלי הבסיס פתוחים למחקר אקדמי ומאפשרים לבחון יכולות הסקה וקוד בקטגוריית גודל של מתחת ל־10B.

איפה זה נופל

המפתח מצהיר במפורש שהמודל לא עבר שום התאמה לכוונת המשתמש, ולכן הוא לא מסוגל לנהל שיחה מרובת שלבים. אם תתנו לו שאלה, הוא ינסה להמשיך את הטקסט ולא בהכרח לענות עליה. בנוסף, חסר כאן כל מנגנון מובנה לסינון פלטים או בטיחות, וכל התנהגות כזו תצטרכו לבנות בעצמכם באימון המשך לפני חיבור למשתמשים אמיתיים.

אותה משפחה

chatglm3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

chatglm3-6b61,032 chatglm3-6b-32k533 chatglm3-6b-128k239

שאלות
נפוצות

האם המודל מתאים לצ'אטבוט?

לא ישירות מהקופסה. המודל הזה לא עבר יישור מול בני אדם ואינו תומך בשיחה, אלא רק משלים טקסט. לשיחה עדיף לקחת את גרסת ChatGLM3-6B המיועדת לכך.

האם אפשר להשתמש בו למוצר מסחרי?

החוקיות דורשת זהירות. ברישומי המאגר לא דווח רישיון, אך בתיאור נכתב ששימוש מסחרי מותנה במילוי שאלון הרשמה אצל המפתחים, כך שאי אפשר להטמיע אותו בצורה עיוורת.

מה החומרה המינימלית הדרושה להרצה?

המודל שוקל 11.6 גיגה בייט בפורמט float16, כך שצריך כרטיס עם כ־16 גיגה זיכרון וידאו. לפי התיעוד אפשר להשתמש בכימות כדי להריץ אותו על חומרה צנועה יותר.

איך מריצים

המשקל הכולל של הקבצים עומד על 11.6 גיגה בייט בדיוק float16. כדי לטעון ולהריץ אותו במצב הזה תצטרכו כרטיס מסך עם לפחות 16 גיגה בייט של זיכרון גרפי, אם כי המפתחים מציינים שאפשר להשתמש בכימות כדי להוריד את דרישות החומרה.

ההרצה נעשית דרך ספריית transformers ודורשת הגדרה מפורשת של הרצת קוד מרוחק. אם אתם לא מתכננים אימון ייעודי, שימוש במודל בסיס מקומי במקום קריאה לשרת עם מודל שיחה מוכן רק יוסיף לכם תקורה מיותרת של תשתית.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/chatglm3-6b-base")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 11.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בדף המודל הנוכחי לא דווח רישיון רשמי, מה שמציב סיכון משפטי למי שרוצה להוריד אותו למוצר מסחרי. בטקסט עצמו המפתחים מציינים שקוד המקור הוא תחת Apache-2.0, אך המשקלים דורשים ציות לרישיון מודל נפרד ומילוי שאלון לצורך שימוש מסחרי חינמי. כל עוד הסטטוס לא מוגדר רשמית במאגר, צריך לבדוק את התנאים היטב לפני שימוש.

הרישיון המלא בעמוד המודל ↗