Baichuan2-7B-Chat

מה זה

זהו מודל שיחה שאומן על 2.6 טריליון טוקנים, גודל מרשים לחבילה של 7 מיליארד פרמטרים. המטרה העיקרית שלו היא להביא יכולות שיחה ועיבוד טקסט בשפות סינית ואנגלית, תחום שבו רוב המודלים הקטנים המערביים מתקשים מאוד.

במבחנים שמוצגים בכרטיס, גרסת הבסיס מגיעה לתוצאות גבוהות במיוחד במבחנים סיניים כמו C-Eval עם ציון 54.00 ו־CMMLU עם 57.07, שמשאירים מאחור מודלים כמו LLaMA2-7B. באנגלית הוא משיג 54.16 ב־MMLU, מה שמציב אותו ברמה תחרותית למדי לגודל שלו, אם כי עדיין רחוק מביצועי מודלי ענן מסחריים.

מתאים ל

• עוזר שיחה בסינית

  הוא מציג ביצועים מעולים במבחני שפה סינית ביחס לגודל קל משקל.

• הטמעה מקומית חסכונית

  משקל של 14 גיגה מאפשר הרצה מהירה על מעבד גרפי בודד ללא תלות ברשת.

• תרגום אנגלית-סינית

  אימון ייעודי על שני מאגרי השפה מייצר דיוק גבוה בהעברת הקשר ביניהן.

איפה זה נופל

חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, כך שלא תוכלו להזין לו מסמכים ארוכים או לנהל איתו היסטוריית שיחה מעמיקה. בנוסף, הוא אומן באופן מובהק על סינית ואנגלית, ולכן כל ניסיון לעבוד איתו בעברית יסתיים כנראה בפלט משובש, הזיות או חוסר הבנה מוחלט. היצרן עצמו מציין בכרטיס שהוא לא פיתח אפליקציות על בסיסו ומסיר אחריות מכל סיכון של הטיה, מידע שגוי או תוכן בעייתי.

אותה משפחה

Baichuan2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של 14 גיגה בייט בפורמט bfloat16, המודל דורש כרטיס מסך יחיד עם לפחות 16 עד 24 גיגה בייט של זיכרון כדי לרוץ בצורה חלקה. הקוד מחייב סביבת PyTorch 2.0 ומעלה בגלל שימוש ישיר בפונקציית הקשב המהירה של הספרייה, וצריך להפעיל trust_remote_code בזמן הטעינה.

אם הזיכרון לחוץ לכם, קיימת גם גרסת Chat שעברה קוונטיזציה ל־4 ביט ומורידה משמעותית את דרישות החומרה. מי שלא רוצה לנהל שרת או להחזיק כרטיסי מסך בארגון, עדיף שיפנה לשירות ה־API של החברה, במיוחד אם דרוש חלון הקשר ארוך בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="baichuan-inc/Baichuan2-7B-Chat")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin15.0 GB
• tokenizer.model2.0 MB
• Baichuan2 模型社区许可协议.pdf257.5 KB
• Community License for Baichuan2 Model.pdf202.8 KB
• modeling_baichuan.py33.2 KB
• README.md16.9 KB
• tokenization_baichuan.py9.6 KB
• quantizer.py9.1 KB
• generation_utils.py3.0 KB
• configuration_baichuan.py2.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json795 B
• config.json758 B
• special_tokens_map.json548 B
• generation_config.json285 B

הרישיון

הרישיון הרשמי לא סווג במטא-דאטה, אבל כרטיס המודל מפרט שילוב בין Apache 2.0 להסכם קהילתי ייעודי. מותר להשתמש בו למחקר ללא תשלום, ושימוש מסחרי מותנה באישור רשמי במייל. ההיתר המסחרי החינמי תקף רק לעסקים עם פחות ממיליון משתמשים פעילים ביום ושאינם ספקי ענן או תוכנה.

הרישיון המלא בעמוד המודל ↗