GPT
הוספת כלי
B

Bielik-11B-v2.3-Instruct

קוד פתוח

speakleashapache-2.02024-08-30

  • transformers
  • safetensors
  • mistral
  • text-generation
  • merge

מודל פתוח של 11 מיליארד פרמטרים שנבנה במיוחד עבור פולנית, ומנצח במבחני שפה מקומיים מודלים כבדים בהרבה. הוא מציג חלון הקשר של 32k טוקנים וביצועים מפתיעים גם באנגלית.

  • 11Bפרמטרים
  • 32,768טוקנים בהקשר
  • 20.8 GBמשקל הקבצים
  • 9,490הורדות בחודש

מה זה

הפרויקט הזה הוא תוצאה של מיזוג ליניארי בין שלוש גרסאות קודמות, 2.0, 2.1 ו־2.2, מעל בסיס של ארכיטקטורת MistralForCausalLM עם 50 שכבות. המפתחים אימנו אותו על קורפוס פולני ייעודי של מעל 20 מיליון הוראות ו־10 מיליארד טוקנים, כולל נתונים סינתטיים שנוצרו עם Mixtral 8x22B וכוונון העדפות בשיטת DPO-Positive.

במדד Open PL LLM Leaderboard הוא הגיע לציון של 65.71, מעל מודלים ענקיים כמו Llama-3.1-70B שעומד על 65.49 ו־Mixtral-8x22B שעומד על 65.23. במבחן MT-Bench הפולני הוא הוציא 8.556 לעומת 7.868 של GPT-3.5-turbo, בעיקר כי הוא מקפיד לענות בפולנית מלאה ולא שובר לאנגלית. הוא שומר על רמה טובה גם באנגלית עם 69.82 ב־Open LLM Leaderboard, אבל הייחוד האמיתי שלו נשאר הבנת הדקויות של השפה הפולנית.

מתאים ל

  • שירות לקוחות בפולנית

    הוא מבין ביטויים מקומיים ועונה בפולנית טבעית בלי לתרגם עקום מאנגלית.

  • סיווג וניתוח טקסטים

    הוא מוביל בניתוח סנטימנט וקטגוריזציה בפולנית ביחס לכל מודל מתחת ל־70B.

  • בוט שיחה בארגון מקומי

    ארכיטקטורה של 11B שמאפשרת ריצה מקומית ומאובטחת ללא הוצאת מידע לרשת.

איפה זה נופל

ליוצרי המודל אין מנגנוני סינון ובקרת תוכן מוטמעים, והם מצהירים על כך ישירות. הוא עלול לפלוט הזיות, שגיאות עובדתיות, הטיות ותוכן פוגעני או לא הולם, כך שאסור לחבר אותו ישירות לממשק משתמש בלי שכבת בדיקות חיצונית.

בנוסף, חלק מנתוני האימון היו באיכות משתנה וכללו טקסט סינתטי. אם המוצר שלכם לא פונה לשוק הפולני, אין שום סיבה מקצועית לבחור בו על פני מודלים כלליים מובילים בגודל דומה.

אותה משפחה

Bielik יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Bielik-11B-v3.0-Instruct4,257 Bielik-7B-Instruct-v0.13,192 Bielik-7B-v0.11,836 Bielik-11B-v2.6-Instruct315 Bielik-11B-v2271 Bielik-11B-v2.2-Instruct17

שאלות
נפוצות

האם המודל הזה מתאים לעבודה בעברית?

לא. המודל אומן והותאם ספציפית לפולנית ולאנגלית. אין לו תמיכה מובנית בעברית, והוא לא יפיק פלטים ברמה סבירה בשפה הזו.

באיזה פורמט הנחיות צריך להשתמש בפנייה אליו?

הוא משתמש בפורמט ChatML עם תגיות im_start ו־im_end. אם אתם עובדים עם ספריית transformers, אפשר פשוט לקרוא לפונקציה apply_chat_template שמסדרת את זה אוטומטית.

איך מריצים

המשקל המלא בפורמט float16 דורש הורדה של 20.8 גיגה בייט ומחייב כרטיס מסך עם לפחות 24 גיגה בייט של VRAM, כמו RTX 3090, RTX 4090 או כרטיסי שרת מסוג A10, רק כדי לטעון אותו לזיכרון בלי לחנוק את המערכת בהקשרים ארוכים.

המפתחים שחררו בנפרד גרסאות קוונטיזציה בפורמטים של GGUF, GPTQ ו־FP8 שמתאימות ל־vLLM ול־SGLang. אם אין לכם חומרה ייעודית מקומית, עדיף בהחלט להוריד את גרסת ה־GGUF ב־4 ביט או ב־8 ביט כדי לרוץ על מעבד ומעט זיכרון, או לצרוך מודל דומה דרך ספקי ענן במקום להחזיק שרת יקר רציף עבור תעבורה נמוכה.

from transformers import pipeline

pipe = pipeline("text-generation", model="speakleash/Bielik-11B-v2.3-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 20.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו בתוך מוצר סגור ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗