GPT
הוספת כלי
C

chatglm-6b

קוד פתוח

zai-orgרישיון לא דווח2023-03-13

  • transformers
  • pytorch
  • chatglm
  • glm
  • thudm

מודל שיחה דו לשוני של 6.2 מיליארד פרמטרים, שמכוון ישירות לסינית ואנגלית. הוא מציע פתרון מקומי קל משקל למי שצריך תמיכה חזקה בסינית בלי להחזיק שרתים כבדים.

  • 12.5 GBמשקל הקבצים
  • 2,918הורדות בחודש
  • 2,916לייקים

מה זה

מדובר במודל שיחה שנבנה על ארכיטקטורת GLM ומכיל 6.2 מיליארד פרמטרים. המפתחים אימנו אותו על כטריליון טוקנים בסינית ובאנגלית, תוך שימוש בכוונון מונחה, מנגנוני משוב ואימון מבוסס משוב אנושי כדי ליישר קו עם העדפות משתמשים. בשונה מרוב המודלים בגודל הזה שמתמקדים כמעט לחלוטין באנגלית, הדגש כאן הושם מראש על שאלות ותשובות ושיחה שוטפת בסינית.

המשקל הכולל של הקבצים עומד על 12.5 גיגה בייט בדיוק של float16, והוא עובד ישירות דרך ספריית transformers. המטרה המרכזית שלו הייתה להביא יכולות שיחה דמויות צ'אט למכשירים מקומיים, בלי להסתמך על תשתית ענן מורכבת או מודלי ענק יקרים. עם זאת, היוצרים כבר פרסמו גרסה שנייה ומתקדמת יותר בשם ChatGLM2-6B שמציעה ביצועים משופרים והקשר ארוך יותר, כך שכדאי להביט גם בה לפני שמחליטים להטמיע את המקור.

מתאים ל

  • צ'אטבוט מקומי בסינית

    הוא מותאם ספציפית לדיאלוג בסינית ורץ על כרטיס מסך ביתי עם 6GB זיכרון בכימות.

  • מחקר על ארכיטקטורת GLM

    המשקלים פתוחים לחלוטין לצרכים אקדמיים ומאפשרים בדיקת כוונון והתנהגות מקומית.

  • מערכת שאלות ותשובות באנגלית

    הוא אומן על טריליון טוקנים דו לשוניים ונותן מענה בסיסי קל משקל ללא עלויות ענן.

איפה זה נופל

המודל מוגבל לשפות סינית ואנגלית בלבד, ואין בו שום תמיכה בעברית. בנוסף, מדובר בגרסה הראשונה בסדרה, והמפתחים עצמם מציינים שהגרסה השנייה כבר כוללת שיפורים ניכרים בהקשר, ביעילות ההסקה ובביצועים. עם 6.2 מיליארד פרמטרים ואימון על טריליון טוקנים, הוא עדיין יסבול מהזיות בהשוואה למודלים גדולים יותר.

אותה משפחה

chatglm יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

chatglm-6b-int4639 chatglm-6b-int8151

שאלות
נפוצות

האם אפשר להשתמש במודל הזה עבור אפליקציה בעברית?

לא. המודל אומן אך ורק על סינית ואנגלית. הוא לא יבין עברית ולא ייצר טקסט קריא בעברית.

האם כדאי לבחור בו או בגרסה החדשה יותר?

עדיף לבדוק קודם את ChatGLM2-6B. המפתחים עצמם מציינים שהגרסה השנייה כוללת שדרוגים בחלון ההקשר, ביצועים חזקים יותר ויעילות הסקה טובה יותר.

איך מריצים

כדי להריץ אותו בדיוק המקורי של float16 תצטרכו כרטיס מסך עם לפחות 13 עד 14 גיגה בייט של זיכרון גרפי, בהתחשב במשקל הקבצים שעומד על 12.5 גיגה בייט. עם זאת, אפשר להשתמש בכימות של INT4 ואז דרישת הזיכרון צונחת לשישה גיגה בייט בלבד, מה שמאפשר להריץ אותו ישירות על כרטיסי מסך ביתיים פשוטים.

ההרצה דורשת התקנה של ספריות ספציפיות כמו transformers, icetk וגרסה ישנה של protobuf. אם אתם זקוקים לתשובות מהירות בעומס גבוה ואין לכם שרת ייעודי, עדיף לפנות לגרסת הרשת או ל־API של ChatGLM במקום לנהל את התשתית לבד.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/chatglm-6b")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 12.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל לא דווח רישיון רשמי, והקוד עצמו מסומן כ־Apache-2.0 בעוד המשקלים דורשים ציות לרישיון מודל נפרד. הטקסט מציין שהמשקלים פתוחים למחקר אקדמי, ושימוש מסחרי חינמי מותנה במילוי טופס שאלון וקבלת אישור. בלי האישור הזה, אסור להפיץ אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗