GPT
הוספת כלי
Q

Qwen3-4B-Base

קוד פתוח

Qwenapache-2.02025-04-28

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס קומפקטית שמאומנת על 36 טריליון טוקנים ב־119 שפות. היא מיועדת למי שרוצה בסיס חזק וזול לאימון המשך או התאמה אישית, ולא צ'אטבוט מוכן מהקופסה.

  • 4Bפרמטרים
  • 32,768טוקנים בהקשר
  • 7.5 GBמשקל הקבצים
  • 1,967,145הורדות בחודש

מה זה

מדובר במודל שפה דחוס של 4 מיליארד פרמטרים, שמהווה נקודת פתיחה נקייה ללא יישור שיחה או הנחיות. הוא אומן בשלושה שלבים שכללו רכישת ידע רחב, חיזוק יכולות קוד וחשיבה לוגית, והרחבת ההקשר עד 32,768 טוקנים. השינויים הארכיטקטוניים מול הדור הקודם כוללים נורמליזציית שאילתות ומפתחות לייצוב האימון, ומנגנון קשב מקובץ עם שמונה ראשי מפתח וערך שמקצץ בצריכת הזיכרון.

היתרון המרכזי כאן מול מודלים ותיקים בגודל דומה הוא עומק הדאטהסט. המפתחים שילשו את היקף השפות לעומת Qwen2.5, עם דגש על מתמטיקה, תכנות ודאטה סינתטי. אם אתם מחפשים מנוע השלמת טקסט מדויק בלי שכבת צנזורה או עיצוב שיחה שכופים עליכם, הבסיס הזה נותן פלטפורמה הדוקה ויעילה.

מתאים ל

  • אימון מודל לתחום צר

    בסיס גולמי מעולה לביצוע Fine-tuning על דאטה פנימי בלי הרגלים קודמים של מודל שיחה.

  • השלמת קוד מקומית

    מאומן חזק על תכנות ורץ על כרטיס מסך פשוט, מה שמתאים להשלמת פונקציות ברקע.

  • עיבוד טקסט רב-לשוני

    תמיכה ב־119 שפות מאפשרת חילוץ נתונים וסיווג במערכות שרצות ישירות על השרת שלכם.

איפה זה נופל

זהו מודל בסיס בלבד ולא מודל שעבר אימון שיחה. אם תשלחו לו שאלה רגילה, הוא לא יענה לכם כעוזר אלא פשוט ימשיך את הטקסט, לעיתים על ידי יצירת שאלות דומות או חזרות מיותרות. בנוסף, חלון ההקשר מגיע עד 32 אלף טוקנים, כך שאם אתם בונים על עיבוד מסמכי ענק של מאות אלפי טוקנים, זה לא הכיוון.

אותה משפחה

Qwen3 יצא ב־32 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3-0.6B21,493,027 Qwen3-8B13,046,829 Qwen3-4B6,283,681 Qwen3-32B5,156,288 Qwen3-1.7B3,441,144 Qwen3-14B-AWQ2,303,431 Qwen3-30B-A3B2,097,577 Qwen3-1.7B-Base1,920,598

שאלות
נפוצות

אפשר להשתמש במודל הזה ישירות כדי לענות למשתמשים בצ'אט?

לא מומלץ בכלל. זהו מודל בסיס שמשלים טקסט ולא עבר אימון להתנהגות כצ'אטבוט. בשביל שיחה עדיף לחפש את גרסת ה־Instruct שלו.

למה אני מקבל שגיאת KeyError כשאני מנסה לטעון אותו?

המודל דורש ספריית transformers בגרסה 4.51.0 ומעלה שתומכת בארכיטקטורת Qwen3. עדכון פשוט של החבילה פותר את הבעיה מיד.

איך מריצים

המשקל הכולל של הקבצים עומד על 7.5 גיגה-בייט בדיוק bfloat16, כך שכרטיס מסך בודד עם 12 עד 16 גיגה זיכרון יריץ אותו בקלות ללא קוונטיזציה. חשוב לשדרג את ספריית transformers לגרסה 4.51.0 ומעלה, אחרת תקבלו שגיאת KeyError כי הארכיטקטורה חדשה ולא מוכרת בגרסאות ישנות.

אם אתם צריכים רק מענה לשאלות משתמשים בלי כוונון ייעודי, עדיף להשתמש בגרסאות ה־Instruct המוכנות או ב־API חיצוני. להרים שרת בשביל מודל בסיס שווה רק כשאתם מאמנים עליו LoRA, בונים מנוע השלמת קוד פנימי, או חייבים את המידע מאחורי חומת האש של הארגון.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen3-4B-Base")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 7.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לבצע עליו אימון נוסף ולהפיץ אותו בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗