chatglm3-6b-32k

מה זה

הגרסה הזו מתבססת על ChatGLM3-6B, אבל כוללת שינוי בקידוד המיקום ואימון ייעודי על טקסטים ארוכים כדי להחזיק שיחות ומסמכים של עד שלושים ושניים אלף טוקנים. מעבר לשיחה חופשית, המודל תוכנן מראש להפעלת כלים, הרצת קוד ומשימות של סוכנים אוטונומיים באמצעות מבנה פרומפט ייעודי.

המפתחים ממליצים עליו רק אם אתם באמת חוצים את רף שמונת אלפים הטוקנים. אם רוב העבודה שלכם נשארת בטווח הקצר, המודל הרגיל מספיק ועדיף עליו מבחינת יעילות, כך שאין סיבה לקחת את גרסת השלושים ושניים אלף סתם.

מתאים ל

• ניתוח מסמכים ארוכים

  קריאה ותשאול של קבצים טקסטואליים ארוכים באנגלית ובסינית שעוברים את רף שמונת אלפים הטוקנים.

• הפעלת פונקציות וכלים

  שילוב בסוכנים שצריכים לנתח הקשר ארוך ולקרוא לפונקציות חיצוניות בעזרת התמיכה הטבעית של המודל.

• הרצת קוד במסגרת שיחה

  סביבות פיתוח מקומיות שמסתמכות על תמיכת המודל במתורגמן קוד ושיחות מרובות שלבים.

איפה זה נופל

היוצרים מציינים בעצמם שאם המשימות שלכם לא חוצות שמונת אלפים טוקנים, אין שום סיבה להשתמש בגרסה הזו. הרחבת חלון ההקשר דורשת משאבי זיכרון כבדים מאוד שמכבידים על המערכת בזמן ריצה. בנוסף, המודל אומן רק על אנגלית וסינית, כך שאין שום תמיכה מובנית בעברית, והוא עלול לפלוט ג'יבריש או תשובות שבורות. מעבר לכך, מדובר במודל של שישה מיליארד פרמטרים בלבד, ולכן במשימות ניתוח מורכבות, הרצת קוד או הפעלת פונקציות מרובות לאורך טקסטים ארוכים, הוא עלול לאבד פרטים, לטעות בלוגיקה או להמציא עובדות.

אותה משפחה

chatglm3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 11.6 גיגה בייט בפורמט float16. כדי לטעון אותו ולהריץ הסקת מסקנות עם חלון הקשר מלא של שלושים ושניים אלף טוקנים, תצטרכו כרטיס מסך עם לפחות שישה עשר עד עשרים וארבעה גיגה בייט של זיכרון גרפי, אחרת תישארו בלי מקום לזיכרון המצב של שכבות התשומת לב.

ההרצה מתבצעת ישירות דרך ספריית transformers של פייתון, יחד עם תלויות נוספות כמו cpm_kernels, torch מגרסה שתיים ומעלה, וספריות תשתית כמו sentencepiece ופרוטובאף. אם אין לכם חומרה ייעודית עם זיכרון גרפי מתאים, פנייה לשרת מרוחק עדיפה על ניסיון להריץ אותו מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/chatglm3-6b-32k")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 11.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00005-of-00007.bin2.0 GB
• pytorch_model-00002-of-00007.bin2.0 GB
• pytorch_model-00003-of-00007.bin1.9 GB
• pytorch_model-00006-of-00007.bin1.9 GB
• pytorch_model-00001-of-00007.bin1.8 GB
• pytorch_model-00004-of-00007.bin1.8 GB
• pytorch_model-00007-of-00007.bin1.1 GB
• tokenizer.model1.0 MB
• modeling_chatglm.py55.8 KB
• pytorch_model.bin.index.json20.4 KB
• quantization.py14.7 KB
• tokenization_chatglm.py11.3 KB
• README.md9.4 KB
• MODEL_LICENSE4.1 KB
• configuration_chatglm.py2.4 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• tokenizer_config.json522 B

הרישיון

בעמוד המודל הנוכחי לא דווח רישיון רשמי, מה שיוצר סיכון משפטי למי ששוקל להפיץ אותו. לפי התיאור, הקוד משוחרר תחת אפאצ'י שתיים, ומשקלי המודל פתוחים למחקר אקדמי. שימוש מסחרי מותנה במילוי טופס שאלון ייעודי מול החברה כדי לקבל אישור חינמי, ולכן אסור להכניס אותו ישירות למוצר מסחרי בלי להסדיר את הרישום מראש.

הרישיון המלא בעמוד המודל ↗