GPT
הוספת כלי
Q

Qwen3-8B-Base

קוד פתוח

Qwenapache-2.02025-04-28

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס של 8.2 מיליארד פרמטרים שאומן על 36 טריליון טוקנים ב־119 שפות. הוא מיועד למי שרוצה לאמן או לכוונן מודל בעצמו, ולא מחפש צ'אטבוט שמוכן לשיחה מהקופסה.

  • 8.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 15.3 GBמשקל הקבצים
  • 386,226הורדות בחודש

מה זה

מדובר במודל בסיס צפוף עם 36 שכבות, שמגיע מאומן מראש אך ללא שלב יישור או התאמה להוראות. ההבדל המרכזי מול הדור הקודם נמצא בדאטה: אימון מקדים על היקף של 36 טריליון טוקנים, כולל קוד, מתמטיקה וספרים, בפריסה של 119 שפות שמרחיבה משמעותית את התמיכה הרב-לשונית בהשוואה לגרסאות קודמות.

האימון עצמו בוצע בשלושה שלבים נפרדים, כשהשלב השלישי הרחיב את חלון ההקשר עד ל־32,768 טוקנים. בארכיטקטורה שילבו qk layernorm ליציבות ו־GQA לחסכון בזיכרון, מה שמציב אותו כנקודת פתיחה חזקה מאוד לבניית מודלים מותאמים אישית בגודל בינוני.

מתאים ל

  • בסיס לכיוונון מותאם

    אידיאלי למי שמריץ fine-tuning ייעודי על דאטה פנימי של החברה.

  • אימון משימות קוד וחישוב

    האימון כלל דגש חזק על תכנות ו־STEM בשלב השני של הפיתוח.

  • עיבוד טקסטים ארוכים

    מתאים למשימות הדורשות חלון הקשר של עד 32,768 טוקנים.

איפה זה נופל

זה מודל בסיס נטו ולא מודל שיחה. הוא לא עבר fine-tuning להנחיות ולא יודע להתנהג כעוזר, כך שאם תשאלו אותו שאלה הוא פשוט ימשיך את הטקסט או יחזור על עצמו. כרטיס המודל לא מציג ציוני בנצ'מרק ישירים בעמוד עצמו ומפנה לבלוג חיצוני, מה שמחייב בדיקה עצמאית לפני שמתחייבים אליו. בנוסף, חלוקת השפות המדויקת מתוך ה־119 לא מפורטת בכרטיס, ולכן אי אפשר להסתמך על איכות העברית שלו בלי לבדוק אותה קודם.

אותה משפחה

Qwen3 יצא ב־32 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3-0.6B21,493,027 Qwen3-8B13,046,829 Qwen3-4B6,283,681 Qwen3-32B5,156,288 Qwen3-1.7B3,441,144 Qwen3-14B-AWQ2,303,431 Qwen3-30B-A3B2,097,577 Qwen3-4B-Base1,967,145

שאלות
נפוצות

אפשר לדבר איתו בצ'אט?

לא ישירות. מדובר במודל בסיס שנועד להשלמת טקסט, ולא במודל שעבר התאמה לשיחה (Instruct). כדי לקבל מענה לשאלות תצטרכו לככוונן אותו בעצמכם או להשתמש בגרסת ה־Instruct המוכנה.

למה יש שגיאת KeyError בהרצה?

המודל דורש גרסת transformers מודרנית. גרסאות ישנות מ־4.51.0 לא מזהות את הארכיטקטורה של qwen3 ונכשלות בטעינה, ולכן חובה לשדרג את הספרייה לפני שטוענים את המשקלים.

האם הוא יודע עברית?

האימון שלו מכסה 119 שפות לפי הדיווח, אך כרטיס המודל לא מפרט אילו שפות בדיוק או מה נפח הדאטה בכל שפה. לפני שמשלבים אותו במוצר בעברית, חובה לבצע בדיקות השלמה ובדיקות איכות עצמאיות.

איך מריצים

כדי להריץ אותו בפורמט bfloat16 תצטרכו לפחות 16 עד 20 גיגה-בייט של זיכרון גרפי פנוי, מה שמחייב כרטיס כמו RTX 3090, RTX 4090 או מאיצים ייעודיים בשרת. קבצי המשקלים לבדם שוקלים 15.3 גיגה-בייט, ואם תרצו לנצל את כל 32,768 הטוקנים של חלון ההקשר, צריכת הזיכרון תעלה עוד.

בסביבת פיתוח צריך לוודא שספריית transformers מעודכנת לגרסה 4.51.0 ומעלה, אחרת מקבלים שגיאה על חוסר תמיכה בארכיטקטורה. אם אתם לא מתכננים אימון או התאמה אישית, אין סיבה אמיתית להריץ דווקא את גרסת הבסיס הזו מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen3-8B-Base")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 15.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי לחלוטין. מותר לשנות אותו, לאמן עליו, להטמיע אותו במוצרים סגורים ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗