Baichuan2-7B-Base

מה זה

מדובר במודל בסיס של 7 מיליארד פרמטרים שאומן על 2.6 טריליון טוקנים באנגלית ובסינית, נפח גבוה בהרבה ממה שהיה מקובל במודלים ותיקים מאותו דור. המטרה שלו היא לשמש נקודת מוצא לפיתוח, כשהוא מגיע ללא כיוונון לשיחה או הנחיות, אלא רק מנחש את המשך הטקסט. מי שמחפש מענה ישיר לבקשות יצטרך לקחת את גרסת הצ'אט או לאמן אותו בעצמו.

במבחני ביצועים בסינית כמו C-Eval הוא מגיע לציון 54.00, ובמבחן MMLU באנגלית לציון 54.16. המספרים האלה מראים עליונות ברורה על פני LLaMA2-7B באותם מבחנים בדיוק, במיוחד בכל מה שקשור לסינית שבה מודלים מערביים נכשלו בעבר. הוא מציג יכולות הבנה כללית סבירות בהחלט ביחס למשקל שלו, אבל נשאר מוגבל יותר ממודלים של 13 מיליארד פרמטרים או מודלים קנייניים גדולים.

מתאים ל

• אימון מודל לתחום הסינית

  בסיס מעולה לפיין טיונינג עבור משימות טקסט בסינית בזכות אימון רחב מראש.

• תרגום אנגלית וסינית

  מתאים לבניית מנועי תרגום ועיבוד דו לשוניים על גבי חומרה מקומית צנועה.

• מחקר על תהליך הלמידה

  מאפשר לחקור התפתחות מודלים בעזרת 11 נקודות ביקורת שפורסמו לאורך האימון.

איפה זה נופל

זהו מודל בסיס בלבד, לכן הוא לא עונה לשאלות אלא ממשיך טקסט, ולעיתים קרובות פשוט ישלים את הפרומפט במקום לבצע הוראה. חלון ההקשר מוגבל ל־4,096 טוקנים, מה שלא מתאים למסמכים ארוכים. המודל אומן רק על אנגלית וסינית, אין בו תמיכה בעברית, והוא עלול לייצר הטיות או טעויות בעובדות שדורשות בדיקה קפדנית לפני כל שימוש.

אותה משפחה

Baichuan2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך בודד עם 16 גיגה זיכרון לפחות, כמו RTX 4090 או כרטיס שרת מקביל, מכיוון שהמשקלים תופסים 14 גיגה בפורמט bfloat16. הקוד דורש PyTorch 2.0 כדי לנצל את פונקציית הקשב המהירה של המערכת, ומחייב הפעלת קוד מרוחק בגלל הארכיטקטורה הייעודית.

אם אין לכם כרטיס מתאים, לחברה יש גרסת 4 ביט למודל השיחה או שירות ענן משלהם עם חלונות הקשר רחבים יותר. להריץ מודל בסיס כזה באופן עצמאי שווה את הטרחה רק אם אתם מתכננים לעשות לו פיין טיונינג פנימי על מידע שלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="baichuan-inc/Baichuan2-7B-Base")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• pytorch_model-00002-of-00002.bin5.1 GB
• tokenizer.model2.0 MB
• checkpoints.jpeg295.5 KB
• Baichuan 2模型社区许可协议.pdf257.6 KB
• Community License for Baichuan 2 Model.pdf204.9 KB
• modeling_baichuan.py33.1 KB
• pytorch_model.bin.index.json18.7 KB
• README.md15.0 KB
• tokenization_baichuan.py9.6 KB
• quantizer.py9.1 KB
• generation_utils.py3.0 KB
• configuration_baichuan.py2.4 KB
• .gitattributes1.5 KB
• tokenizer_config.json795 B
• config.json738 B
• special_tokens_map.json548 B

הרישיון

המודל פתוח לגמרי למחקר אקדמי, אבל שימוש מסחרי מותנה באישור מראש. כדי להשתמש בו במוצר מסחרי צריך פחות ממיליון משתמשים פעילים ביום, אסור להיות ספק ענן או שירותי תוכנה, וחובה לשלוח בקשה במייל לחברה כדי לקבל רישיון ספציפי.

הרישיון המלא בעמוד המודל ↗