Bielik-7B-v0.1

מה זה

המודל הזה נשען על Mistral-7B-v0.1, ועבר הרחבת אימון על קורפוס פולני נקי של פרויקט SpeakLeash באמצעות תשתית מחשוב-על. המטרה כאן הייתה לפתור בעיה מוכרת במודלים רב-לשוניים כלליים, שבהם פולנית מקבלת פחות משקל ואיכות הטקסט נפגעת בהתאם. הסינון של החומרים נעשה בעזרת מסווג ייעודי שבדק תקינות לשונית ואוצר מילים.

במבחני ביצועים של מודלי שבעה מיליארד פרמטרים בפולנית, הוא השיג ציון ממוצע של 29.38. זה לא הציון הכללי הגבוה ביותר בקטגוריה, אבל במשימת קריאה ומענה מתוך טקסט במערכות RAG הוא הגיע לציון של 88.39, ועקף את מודל המקור של מיסטרל. המשמעות היא יכולת שליפת עובדות טובה יותר מטקסטים בפולנית, גם אם במשימות סיווג כלליות הוא פחות בולט.

מתאים ל

• אימון מודלי שיחה בפולנית

  משמש כבסיס יציב ומדויק לכוונון מודלים מונחי הוראות עבור לקוחות דוברי פולנית.

• רכיב שליפה במערכות RAG

  מציג ביצועים גבוהים במענה על שאלות מתוך טקסט פולני ומחלץ מידע ביעילות ממסמכים.

• סיווג וניתוח טקסט מקומי

  מתאים לכוונון על משימות סנטימנט וקטגוריזציה של מאגרי תוכן מקומיים בפולנית.

איפה זה נופל

זהו מודל בסיס שאינו מיועד לשימוש ישיר מול משתמשי קצה ללא אימון נוסף והצבת מנגנוני סינון. היוצרים מבהירים במפורש שהוא עלול לייצר מידע שגוי עובדתית, טעון בהטיות או פוגעני, למרות מאמצי הסינון של הדאטה. בנוסף, חלון ההקשר באימון הוגדר ל־4096 טוקנים, כך שאי אפשר לצפות ממנו לעבד מסמכים ארוכים במיוחד בלי לפגוע באיכות התוצרים.

אותה משפחה

Bielik יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בפורמט bfloat16 תצטרכו כרטיס מסך עם לפחות 16 גיגה-בייט של זיכרון גרפי, כמו RTX 4090 או כרטיס שרת מקביל בענן. הטעינה נעשית ישירות דרך ספריית transformers בפייתון בשלוש שורות קוד.

שימו לב שזו גרסת הבסיס ולא גרסת השיחה. אם אתם צריכים צ'אטבוט מוכן או מודל שמגיב ישר להוראות בלי לעבור כוונון נוסף, עדיף לפנות ישירות לגרסת ה־Instruct של הפרויקט במקום להשקיע משאבי מחשוב באימון עצמי.

from transformers import pipeline

pipe = pipeline("text-generation", model="speakleash/Bielik-7B-v0.1")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• train_acc.png43.1 KB
• train_loss.png36.9 KB
• train_ppl.png35.6 KB
• model.safetensors.index.json23.9 KB
• speakleash_cyfronet.png15.2 KB
• README.md15.2 KB
• .gitattributes1.5 KB
• tokenizer_config.json967 B
• config.json593 B
• generation_config.json111 B
• special_tokens_map.json72 B
• info.json67 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, לכייל אותו מחדש ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗