LongWriter-glm4-9b

מה זה

מדובר בהתאמה של glm-4-9b שנועדה לפתור בעיה מעצבנת במיוחד, מודלים שיודעים לקרוא טקסט ארוך אבל מסרבים לכתוב יותר מכמה פסקאות. החוקרים אימנו אותו על דאטהסט ייעודי בשם LongWriter-6k כדי שיחזיק פלט רציף של עשרת אלפים מילים ויותר בקריאה אחת.

הוא מבוסס על ארכיטקטורת ChatGLM עם ארבעים שכבות ודיוק bfloat16. השפות הנתמכות הן אנגלית וסינית, כך שאם בניתם על עברית ארוכה, זה לא הכלי המתאים. השוני העיקרי מול מודלי תשעה מיליארד פרמטרים סטנדרטיים הוא היכולת לייצר תוכן ארוך באמת בלי לקצר תשובות בכוח או להיכנס ללולאות טקסט אינסופיות.

מתאים ל

• מדריכים מקיפים באנגלית

  הוא מתוכנן לפלוט מעל עשרת אלפים מילים ברצף לפי הנחיה אחת, בדיוק מה שצריך למדריכים עמוקים.

• סיכומי ענק ודוחות טכניים

  מסוגל לייצר טקסט ארוך ומובנה בלי לעצור באמצע ולבקש מכם להמשיך אותו ידנית.

• כתיבת תוכן עלילתי ארוך

  אידיאלי למי שמחפש יצירת פרקים שלמים או סיפורים מפורטים באנגלית או סינית בלי קיטועים.

איפה זה נופל

הבעיה המרכזית היא שאין תמיכה מוגדרת בעברית, רק אנגלית וסינית. מעבר לזה, המודל מחייב שימוש ב־trust_remote_code גם בטוקנייזר וגם במודל עצמו, מה שמאלץ אתכם להריץ קוד צד שלישי לא בדוק בסביבה שלכם. יצירה של עשרת אלפים מילים ברצף דורשת ניהול זיכרון כבד מאוד בגלל ה־KV cache בחלון של שלושים ושניים אלף טוקנים.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־17.5 ג'יגה בייט. כדי להריץ אותו מקומית ב־bfloat16 מלא תצטרכו כרטיס מסך עם לפחות 24 ג'יגה בייט זיכרון, במיוחד אם אתם מכוונים לחלון יצירה שמגיע ל־32,768 טוקנים. פחות מזה, ותצטרכו קוונטיזציה או שתיפלו על שגיאות זיכרון מהר מאוד.

ההרצה עובדת דרך transformers החל מגרסה 4.43.0, אבל מומלץ להרים אותו עם vLLM. הקוד בכרטיס המודל מראה שבשימוש ב־vLLM אפשר לייצר מעל עשרת אלפים מילים תוך פחות מדקה. אם אין לכם חומרה ייעודית שתחזיק הקשר של 32k טוקנים פעיל, שווה לבדוק פתרונות ענן במקום להילחם עם הזיכרון המקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="zai-org/LongWriter-glm4-9b")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 17.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors4.0 GB
• tokenizer.model2.6 MB
• modeling_chatglm.py44.4 KB
• model.safetensors.index.json29.1 KB
• tokenization_chatglm.py11.0 KB
• README.md2.8 KB
• configuration_chatglm.py2.3 KB
• config.json1.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json845 B
• generation_config.json155 B
• special_tokens_map.json35 B

הרישיון

בדף המודל לא מוגדר רישיון רשמי, והוא רק מפנה לרישיון של glm-4-9b-chat. במצב כזה אין אישור שימוש ברור ומסודר במטא-דאטה, ומי שמתכנן להטמיע אותו במוצר מסחרי לוקח סיכון משפטי עד שיבדוק לעומק את תנאי הרישיון המקורי של THUDM.

הרישיון המלא בעמוד המודל ↗