Baichuan-13B-Base

מה זה

הגרסה הזו היא מודל גולמי שלא עבר התאמה לשיחה, והוא אומן על 1.4 טריליון טוקנים בסינית ואנגלית. במבחני ידע והבנה בסינית כמו C-Eval ו־CMMLU הוא מציג יתרון ברור על פני דגמי 13B מקבילים מתקופתו, עם ממוצעים של 52.4 ו־55.3 לעומת אזור ה־30 של לאמה המקורית. באנגלית, לפי מבחן MMLU, הוא מגיע ל־51.6, שזה קרוב מאוד למה שקיבל ויקוניה באותו סדר גודל.

ההבדל הטכני המרכזי בארכיטקטורה שלו מול מתחרים הוא השימוש ב־ALiBi במקום ב־RoPE. לפי הבדיקות שהמפתחים מציגים, השינוי הזה חוסך חישובים ומעלה את קצב הייצור ל־25.4 טוקנים לשנייה בהשוואה ל־19.4 בלאמה 13B, שיפור מורגש של מעל שלושים אחוז במהירות הריצה.

מתאים ל

• בסיס לכיול מודל בסינית

  הוא מציג ביצועים גבוהים במיוחד בסינית וכולל 1.4 טריליון טוקנים של דאטה איכותי כנקודת מוצא.

• אימון מקומי לחברות

  מודל 13B שמאפשר לבצע fine-tuning מלא על חומרה סבירה יחסית בלי תלות חיצונית.

• עיבוד טקסט דו-לשוני מהיר

  ארכיטקטורת ALiBi מאפשרת מהירות עיבוד של 25.4 טוקנים לשנייה במשימות אנגלית וסינית.

איפה זה נופל

זהו מודל בסיס בלבד, מה שאומר שהוא לא מבין פקודות ישירות, לא יודע לנהל שיחה, ונוטה להמשיך טקסט או לפלוט מלל לא מבוקר בלי אימון נוסף. התמיכה בשפות מוגבלת לחלוטין לסינית ואנגלית, כך שאין מה לבנות עליו לעיבוד עברית. חלון ההקשר מוגבל ל־4096 טוקנים, והמפתחים עצמם מזהירים שהם לא מסננים בעיות אבטחת מידע, הטעיות או סיכוני תוכן שעלולים לצוץ מהשימוש בו.

אותה משפחה

Baichuan יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו במשקל מלא של bfloat16 תצטרכו כרטיס מקצועי עם לפחות 28 עד 32 גיגה זיכרון גרפי, בהתחשב בכך שקבצי המשקולות לבדם תופסים כמעט 25 גיגה. למי שמחזיק כרטיסים ביתיים כמו RTX 3090 עם 24 גיגה, קיימות גרסאות מקוונטטות של 4 ו־8 ביט שמורידות את דרישות הזיכרון באופן משמעותי ומאפשרות להריץ לוקאלית.

אם אתם לא צריכים לאמן או לכייל את המודל על דאטה פרטי משלכם, אין טעם להחזיק שרת ייעודי בשבילו. צריכת מודל גנרי דרך ספק ענן תהיה זולה ופשוטה בהרבה מתחזוקת החומרה הזו בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="baichuan-inc/Baichuan-13B-Base")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 24.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin10.0 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.6 GB
• tokenizer.model1.1 MB
• Community License for Baichuan-13B Model.pdf200.9 KB
• Baichuan-13B 模型社区许可协议.pdf187.7 KB
• modeling_baichuan.py24.5 KB
• pytorch_model.bin.index.json23.3 KB
• quantizer.py21.1 KB
• README.md13.1 KB
• tokenization_baichuan.py8.7 KB
• .gitattributes1.5 KB
• configuration_baichuan.py1.5 KB
• tokenizer_config.json954 B
• config.json715 B
• special_tokens_map.json544 B
• generation_config.json132 B
• requirements.txt86 B

הרישיון

בעמוד המודל לא מוגדר רישיון רשמי מוכר, אלא הפניה להסכם קהילתי ייעודי של החברה. המחקר האקדמי פתוח, אך שימוש מסחרי מחייב פנייה יזומה במייל וקבלת אישור כתוב מהיוצרים. בלי האישור הזה ביד, אסור לשלב אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗