telechat-7B

מה זה

המודל מגיע מחברת הבינה המלאכותית של צ'יינה טלקום ואומן על 1.5 טריליון טוקנים בסינית ובאנגלית. הוא בנוי בארכיטקטורת Decoder-only סטנדרטית שמשלבת Rotary Embedding ו־SwiGLU, ומכוון ספציפית למשימות שיחה מרובת סבבים ויצירת טקסטים ארוכים כמו תוכניות עבודה, דוחות וסיכומים.

במבחנים בסינית הוא מציג תוצאות גבוהות מאוד לגודלו. במבחן C-Eval הוא מגיע ל־64.6 וב־CMMLU ל־64.3, שזה גבוה משמעותית מ־LLaMA2-7B ואפילו עוקף את Qwen-7B במדדים האלה. עם זאת, במבחני היגיון כלליים באנגלית ובקוד הוא חלש יותר, עם 20.1 בלבד ב־HumanEval וציון נמוך במיוחד של 19.5 ב־BBH.

מתאים ל

• עיבוד וניתוח מסמכים בסינית

  הוא מציג ציונים גבוהים במיוחד בהבנת השפה הסינית ומתאים לניתוח טקסטים מקומי.

• כתיבת מסמכים ודוחות ארוכים

  האימון כולל אופטימיזציה לטקסטים ארוכים כמו תוכניות עבודה ומיילים רשמיים.

• צ'אטבוט פנימי לחומרה צנועה

  בגרסאות המכומתות הוא רץ על כרטיס מסך בודד ומספק יכולות שיחה מרובת שלבים.

איפה זה נופל

המגבלה הבולטת ביותר היא חוסר האיזון הקיצוני בביצועים. במבחן BBH הוא מוציא 19.5 בלבד, תוצאה נמוכה בהרבה ממתחרים ישירים כמו ChatGLM3 או Qwen באותו הגודל, מה שמעיד על קושי ממשי במשימות חשיבה והיגיון מורכבות. גם במתמטיקה עם 10.3 ב־MATH הוא לא מבריק.

בנוסף, הכרטיס לא מציין שום תמיכה בעברית, ואין לצפות ממנו להבנה או לפלט סביר בשפה הזו. השימוש בו מחייב הרצת קוד צד שלישי לא מוכר דרך trust_remote_code, כך שחובה לבדוק את הקבצים לפני הרצה בסביבת ייצור.

אותה משפחה

telechat יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את גרסת ה־FP16 המלאה תצטרכו כרטיס מסך עם לפחות 16GB של VRAM, כמו RTX 4080 או כרטיס שרת מקביל. הטעינה נעשית ישירות דרך ספריית transformers עם trust_remote_code מופעל, והמשקלים תופסים כ־13.4GB נפח אחסון.

אם הזיכרון מוגבל, יש למודל גרסאות int8 ו־int4 רשמיות שמורידות את דרישות החומרה משמעותית ויכולות לרוץ על כרטיסים ביתיים פשוטים יותר. אם אין לכם גישה למעבד גרפי ייעודי או שאתם לא צריכים עיבוד מקומי של נתונים רגישים, עדיף להשתמש ב־API חיצוני במקום לתחזק שרת עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="Tele-AI/telechat-7B")
print(pipe("שלום"))

הקבצים

44 קבצים במאגר, 13.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model_00001-of-00032.bin1.3 GB
• pytorch_model_00002-of-00032.bin436.2 MB
• pytorch_model_00003-of-00032.bin436.2 MB
• pytorch_model_00004-of-00032.bin436.2 MB
• pytorch_model_00005-of-00032.bin436.2 MB
• pytorch_model_00006-of-00032.bin436.2 MB
• pytorch_model_00007-of-00032.bin436.2 MB
• pytorch_model_00008-of-00032.bin436.2 MB
• pytorch_model_00009-of-00032.bin436.2 MB
• pytorch_model_00010-of-00032.bin436.2 MB
• pytorch_model_00011-of-00032.bin436.2 MB
• pytorch_model_00012-of-00032.bin436.2 MB
• pytorch_model_00013-of-00032.bin436.2 MB
• pytorch_model_00014-of-00032.bin436.2 MB
• pytorch_model_00015-of-00032.bin436.2 MB
• pytorch_model_00016-of-00032.bin436.2 MB
• pytorch_model_00017-of-00032.bin436.2 MB
• pytorch_model_00018-of-00032.bin436.2 MB
• pytorch_model_00019-of-00032.bin436.2 MB
• pytorch_model_00020-of-00032.bin436.2 MB
• pytorch_model_00021-of-00032.bin436.2 MB
• pytorch_model_00022-of-00032.bin436.2 MB
• pytorch_model_00023-of-00032.bin436.2 MB
• pytorch_model_00024-of-00032.bin436.2 MB
• pytorch_model_00025-of-00032.bin436.2 MB
• pytorch_model_00026-of-00032.bin436.2 MB
• pytorch_model_00027-of-00032.bin436.2 MB
• pytorch_model_00028-of-00032.bin436.2 MB
• pytorch_model_00029-of-00032.bin436.2 MB
• pytorch_model_00030-of-00032.bin436.2 MB
• pytorch_model_00031-of-00032.bin436.2 MB
• tokenizer.json9.2 MB
• TeleChat模型社区许可协议.pdf545.6 KB
• modeling_telechat.py37.8 KB
• pytorch_model.bin.index.json22.0 KB
• README.md12.5 KB
• pytorch_model_00032-of-00032.bin9.1 KB
• generation_utils.py4.8 KB
• configuration_telechat.py4.2 KB
• .gitattributes1.5 KB

הרישיון

המטא-דאטה מדווח על רישיון apache-2.0, אבל הטקסט בכרטיס המודל סותר את זה במפורש. לפי ההוראות שם, שימוש מסחרי מחייב הגשת בקשה ואישור במייל מול החברה כדי לקבל רישיון מוגבל שניתן לביטול. אם המטרה היא שילוב במוצר מסחרי, אי אפשר להסתמך על חופש הפעולה הרגיל של אפאצ'י.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗