GPT
B

Bielik-7B-Instruct-v0.1

קוד פתוח

speakleashcc-by-nc-4.02024-03-30

  • transformers
  • safetensors
  • mistral
  • text-generation
  • finetuned

גרסת הוראות מבוססת מיסטרל שעברה התאמה ייעודית לשפה הפולנית. הוא מיועד למי שצריך לעבד טקסט בפולנית מקומית ומחפש ביצועים טובים במשימות קריאה ומענה לשאלות.

  • 7.2Bפרמטרים
  • 4,096טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • 3,192הורדות בחודש

מה זה

הפרויקט נבנה על ידי צוות SpeakLeash בשיתוף מרכז המחשוב הפולני Cyfronet AGH, במטרה לייצר מענה ספציפי לפולנית על גבי ארכיטקטורת MistralForCausalLM. האימון שילב הוראות פולניות שנאספו ועברו בדיקה אנושית יחד עם תרגומים של מאגרי הוראות מוכרים באנגלית כמו OpenHermes-2.5 ו־orca-math-word-problems-200k.

במבחני Open PL LLM Leaderboard הוא הגיע לציון ממוצע של 39.28. הנקודה שבה הוא בולט מול מודלים אחרים בקטגוריית 7B היא משימת RAG Reader, שם רשם ציון 86.00, מה שמצביע על יכולת טובה לחלץ תשובות מתוך טקסט נתון בפולנית, אם כי בדירוג מחדש למשימות אחזור הוא השיג 61.89 בלבד.

מתאים ל

  • מענה על שאלות מטקסט

    הוא מציג ציון של 86.00 במבחן RAG Reader, ולכן מתאים לשליפת תשובות מתוך מקורות מידע בפולנית.

  • ניתוח טקסט בפולנית

    עבר אימון על דאטה פולני ממוקד ומבצע משימות סיווג וניתוח סנטימנט מקומיות במחקרים פנימיים.

  • בדיקות מקומיות על מחשב אישי

    זמינות גרסאות GGUF ו־MLX שמאפשרות להריץ מודל הוראות שלם על חומרה צרכנית בלי חיבור לרשת.

איפה זה נופל

המודל פותח ללא מנגנוני סינון ובקרת תוכן, ולכן הוא עלול לפלוט תוכן מוטה, שגוי עובדתית או פוגעני. היוצרים מצהירים במפורש שהוא הדגמה מהירה ואינו מתאים להסתמכות על עובדות. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שמקשה על עיבוד מסמכים ארוכים, ואיכות הפלט הושפעה מחוסר אחידות באיכות מאגרי ההוראות ששימשו באימון.

אותה משפחה

Bielik יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם המודל מתאים לשימוש בעברית?

לא. המודל אומן והותאם ספציפית לפולנית ולאנגלית, ואין לו תמיכה או התאמה לשפה העברית.

האם אפשר להשתמש בו במוצר מסחרי?

לא, הרישיון הוא CC BY-NC 4.0 שמונע במפורש כל שימוש מסחרי מכל סוג.

איזה מבנה פנייה נדרש כדי לקבל תשובות מדויקות?

יש לעטוף את השאלה בתגיות ייעודיות מסוג [INST] ו-[/INST], או להשתמש במתודה apply_chat_template של הטוקנייזר.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 16GB של זיכרון גרפי, כמו RTX 4090 או כרטיס שרת מקביל, בהתחשב במשקל קבצים של 13.5GB. הקריאה מתבצעת בעזרת ספריית transformers עם פורמט פניות מסוג INST.

אם אין לכם חומרה כזו, המפתחים שחררו גרסאות מכווצות בפורמטים שונים כמו GGUF, AWQ, GPTQ, EXL2 ופורמט MLX עבור מחשבי אפל, שמאפשרים ריצה על מעבדים או מחשבים ניידים. הדמו הציבורי ב־Hugging Face Spaces מתאים לבדיקה ראשונית בלי להגדיר שרת עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="speakleash/Bielik-7B-Instruct-v0.1")
print(pipe("שלום"))

הרישיון

הרישיון הוא CC BY-NC 4.0, מה שאומר שמותר להשתמש בו למחקר, בדיקות ופרויקטים פרטיים בלבד. המפתחים בחרו ברישיון זה בגלל אי בהירות משפטית, ולכן אסור לחלוטין לשלב אותו במוצר מסחרי, באפליקציה בתשלום או במערכת ארגונית מניבה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗