Baichuan2-13B-Chat

מה זה

הגרסה הזו עברה כוונון ייעודי לשיחה, ומבוססת על אימון רחב היקף בסינית ובאנגלית. מבחינת יכולות, הוא מיועד למענה לשאלות, ניהול דיאלוג, ותרגום, כשגרסת v2 שלו קיבלה חיזוק ספציפי להבנת הוראות מורכבות, מתמטיקה והיגיון. בהשוואה למודלים מערביים בגודל 13B כמו LLaMA2, הדגש כאן שונה לגמרי. במבחנים בסינית כמו C-Eval הוא מגיע לציון 58.10 לעומת 35.80 בלבד של LLaMA2, מה שממחיש את הפער התהומי לטובתו בכל מה שקשור לשפה הסינית ולתרבות המקומית.

גם במבחנים באנגלית הוא לא נשאר מאחור ומציג עליונות קלה על פני משפחת LLaMA2 המקבילה, עם 59.17 במבחן MMLU מול 55.09 של המתחרה. המשמעות היא שאתם מקבלים כלי שלא מקריב את האנגלית לטובת הסינית, אלא שומר על רמה תחרותית בשתיהן. יחד עם זאת, הציונים עדיין נמוכים בהשוואה למודלי ענן מסחריים כמו GPT-3.5 ו־GPT-4, כך שגבולות הגזרה ברורים.

מתאים ל

• שירות לקוחות בסינית

  אימון ייעודי על טקסטים בסינית הופך אותו לפתרון מקומי מעולה לשיחה שוטפת ומענה לשאלות.

• תרגום מסמכים אנגלית סינית

  ציונים גבוהים בשתי השפות מאפשרים תרגום והתאמת תוכן דו כיוונית בלי לאבד הקשר.

• הרצה מקומית מאובטחת

  גודל 13B מאפשר אירוח על חומרת שרת בודדת בארגון, ללא תלות בשרתי צד שלישי.

איפה זה נופל

השפות הנתמכות הן אנגלית וסינית בלבד, כך שעבור טקסט בעברית אין מה לחפש כאן והוא יפלוט ג'יבריש או יסרב לתפקד. הקוד שלו דורש הרצת קבצים מרוחקים של צד שלישי בטעינה, עניין שיוצר חשיפה אבטחתית בפרודקשן. בנוסף, אף על פי שגרסת v2 משפרת יכולות היגיון, ציוני הבנצ'מרק של דגם הבסיס במתמטיקה ובקוד נמוכים ממודלים שמתמחים בתכנות, והחברה מציינת במפורש שהיא מתנערת מכל אחריות לטעויות, הטיה בתוכן או בעיות אבטחה במידע.

אותה משפחה

Baichuan2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 25.9 ג'יגה בייט בפורמט bfloat16 ומחולקים ל־19 קבצים, כך שצריך כרטיס מסך עם לפחות 32 ג'יגה זיכרון כדי להריץ אותו בלי שייחנק, או לפצל לשני כרטיסי 16 ג'יגה. המודל דורש PyTorch 2.0 בגלל שימוש בפונקציית הקשב F.scaled_dot_product_attention להאצה, וצריך לאפשר trust_remote_code בזמן הטעינה עם transformers. למי שמוגבל בחומרה, קיימת גרסה רשמית מכווצת ל־4 ביט שמורידה משמעותית את דרישות ה־VRAM.

אפשר להריץ אותו גם על מעבדי אינטל דרך ספריית BigDL-LLM. אם אתם צריכים רק מענה מזדמן לשאילתות בסינית ולא רוצים להחזיק שרת יקר באוויר, שימוש ב־API המקוון של Baichuan פשוט וזול יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="baichuan-inc/Baichuan2-13B-Chat")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 25.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin10.0 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin7.9 GB
• tokenizer.model2.0 MB
• Baichuan2 模型社区许可协议.pdf257.5 KB
• Community License for Baichuan2 Model.pdf202.8 KB
• modeling_baichuan.py32.5 KB
• pytorch_model.bin.index.json23.3 KB
• README.md17.2 KB
• quantizer.py9.1 KB
• tokenization_baichuan.py9.0 KB
• generation_utils.py3.0 KB
• configuration_baichuan.py1.6 KB
• .gitattributes1.5 KB
• handler.py1.1 KB
• tokenizer_config.json954 B
• config.json758 B
• special_tokens_map.json544 B
• generation_config.json285 B

הרישיון

הרישיון מוגדר כ־other ומשלב תנאי קהילה עם Apache 2.0. מותר להשתמש בו בחינם למחקר אקדמי. שימוש מסחרי מותר ללא תשלום רק לעסקים עם פחות ממיליון משתמשים פעילים ביום, בתנאי שאינכם ספקי שירותי ענן או תוכנה. לפני שמשלבים אותו במוצר מסחרי, חובה לשלוח בקשה רשמית במייל לחברה ולקבל מהם אישור בכתב.

הרישיון המלא בעמוד המודל ↗