Baichuan-13B-Chat

מה זה

המודל הזה נבנה על בסיס ארכיטקטורה של 40 שכבות עם קידוד מיקום ALiBi במקום רוטרי, מה שמוריד עומס חישובי ומעלה את קצב הייצור לכ־25.4 טוקנים בשנייה בהשוואה ל־19.4 בדגמי LLaMA בגודל דומה. הוא אומן על 1.4 טריליון טוקנים, היקף נתונים גבוה ביחס לקטגוריית 13B באותה תקופה.

במבחני ביצועים בסינית כמו C-Eval ו־CMMLU הוא מציג ממוצעים של 51.5 ו־55.8, פער משמעותי מול מודלים מקבילים מאותו דור שהתקשו בשפה הזו. באנגלית, דרך מבחן MMLU, הוא עומד על 52.1, תוצאה שמקבילה ל־Vicuna-13B. המשמעות היא שעיקר היתרון שלו מתבטא ביכולת לעבד ידע מקומי ותחביר בסינית בלי להקריב לגמרי את האנגלית.

מתאים ל

• עוזר שיחה דו לשוני

  מתאים לבוטים שצריכים לעבור בין אנגלית לסינית בזכות אימון ממוקד בשתי השפות.

• הסקה על חומרת קצה

  עובד על כרטיסי 3090 ביתיים באמצעות כימות 4 ביט מובנה בקוד.

• ייצור טקסט מהיר בסינית

  מציג יתרון מהירות של מעל 30 אחוז מול LLaMA הודות לקידוד ALiBi.

איפה זה נופל

המודל אינו כולל שום אופטימיזציה לעברית, ולכן ניסיון להשתמש בו לטקסטים מקומיים יוביל לפלט משובש או לכשלים מוחלטים. מעבר לזה, חלון ההקשר מוגבל ל־4096 טוקנים, מה שלא מתאים לעיבוד מסמכים ארוכים או היסטוריית שיחה עמוקה. היוצרים מצהירים שהם אינם אחראים לסיכוני שיח או בטיחות, ומשאירים את בדיקות הסינון למפתח.

אותה משפחה

Baichuan יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את המשקלים המלאים ב־bfloat16 תצטרכו כרטיס עם לפחות 28 עד 30 גיגה־בייט זיכרון גרפי, מה שמחייב חומרה מקצועית כמו A5000 או שרת ענן ייעודי. הקוד דורש trust_remote_code בזמן הטעינה בספריית transformers.

היוצרים הטמיעו תמיכה בכימות מובנה ל־int8 ול־int4 באמצעות שורת קוד אחת. בכימות ל־int4 הדרישה יורדת לרמה שמאפשרת להריץ אותו מקומית על כרטיס בודד כמו Nvidia 3090, בתנאי שטוענים את המשקלים קודם לזיכרון ה־CPU.

from transformers import pipeline

pipe = pipeline("text-generation", model="baichuan-inc/Baichuan-13B-Chat")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 24.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin10.0 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.6 GB
• tokenizer.model1.1 MB
• Community License for Baichuan-13B Model.pdf200.9 KB
• Baichuan-13B 模型社区许可协议.pdf187.7 KB
• pytorch_model.bin.index.json23.3 KB
• modeling_baichuan.py22.6 KB
• quantizer.py21.1 KB
• README.md16.4 KB
• tokenization_baichuan.py8.7 KB
• generation_utils.py3.0 KB
• .gitattributes1.5 KB
• configuration_baichuan.py1.5 KB
• handler.py1.1 KB
• tokenizer_config.json954 B
• config.json733 B
• special_tokens_map.json544 B
• generation_config.json284 B
• requirements.txt56 B

הרישיון

הרישיון לא מוגדר בצורה סטנדרטית במטא־דאטה. לפי התיעוד מדובר בהסכם קהילתי שפתוח למחקר, אבל שימוש מסחרי מחייב פנייה ישירה במייל וקבלת אישור רשמי בכתב. ללא אישור כזה, אי אפשר לשלב אותו במוצר רווחי.

הרישיון המלא בעמוד המודל ↗