GPT
הוספת כלי
Q

Qwen3-0.6B-Base

קוד פתוח

Qwenapache-2.02025-04-28

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס זעיר של חצי מיליארד פרמטרים שמתאים כחומר גלם לאימון עצמי. הוא אומן על מאגר ענק ותומך בחלון הקשר ארוך מאוד לגודל שלו.

  • 596Mפרמטרים
  • 32,768טוקנים בהקשר
  • 1.1 GBמשקל הקבצים
  • 852,400הורדות בחודש

מה זה

מדובר במודל בסיס צפוף עם 596 מיליון פרמטרים, הדור החדש בסדרה של Qwen. למרות הגודל הזעיר, הוא עבר אימון על 36 טריליון טוקנים ב־119 שפות, שזה פי שלושה ממה שהיה בדור הקודם. האימון התבצע בשלושה שלבים נפרדים, כשהשלב השלישי התמקד בהרחבת ההקשר עד 32,768 טוקנים ושיפור יכולות קוד וחשיבה לוגית.

בגזרה הטכנית יש כאן 28 שכבות, שימוש במנגנון GQA עם 16 ראשי שאילתות ו־8 ראשי מפתח-ערך, ונורמליזציית qk layernorm ליציבות. המשמעות של כל זה היא מודל שמצליח לדחוס ידע רחב לנפח קטן מאוד, אבל הוא עדיין מודל בסיס ולא עבר התאמה לשיחה.

מתאים ל

  • אימון ייעודי למשימה בודדת

    בסיס מעולה לכוונון עדין למשימות ספציפיות כמו מיון או חילוץ מידע, בזכות צריכת משאבים אפסית.

  • עיבוד טקסטים ארוכים בקצה

    חלון הקשר של 32k טוקנים מאפשר לקרוא מסמכים שלמים על מכשירי קצה ללא שרתים יקרים.

  • השלמת טקסט אוטומטית

    ארכיטקטורה זעירה וקלת משקל שמספקת זמני תגובה מהירים מאוד להשלמת משפטים במערכות מקומיות.

איפה זה נופל

זה מודל בסיס מובהק שלא עבר שום כוונון להוראות או לצ'אט. אם תתנו לו פרומפט בצורת שאלה, הוא עשוי פשוט להמשיך את הטקסט או לפלוט המשכים סטטיסטיים במקום לענות לכם.

בנוסף, הכרטיס לא מציג מדדי ביצועים מספריים ישירים אלא מפנה לבלוג חיצוני, כך שאי אפשר להסתמך על הצהרות כלליות לגבי איכות ההיגיון שלו בלי לבדוק אותו בעצמכם על המשימה הספציפית.

אותה משפחה

Qwen3 יצא ב־32 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3-0.6B21,493,027 Qwen3-8B13,046,829 Qwen3-4B6,283,681 Qwen3-32B5,156,288 Qwen3-1.7B3,441,144 Qwen3-14B-AWQ2,303,431 Qwen3-30B-A3B2,097,577 Qwen3-4B-Base1,967,145

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כבוט שיחה?

לא. מדובר במודל בסיס שנועד להשלמת טקסט, ולא עבר כוונון להנחיות. כדי לנהל איתו שיחה תצטרכו לאמן אותו קודם על דאטה של שאלות ותשובות או לקחת גרסה מכווננת.

למה מופיעה שגיאת KeyError בהרצה הראשונה?

הארכיטקטורה של המודל נתמכת בספריית transformers רק מגרסה 4.51.0 ומעלה. שדרוג פשוט של הספרייה יפתור את הבעיה מיד.

איך מריצים

המשקל של הקבצים עומד על 1.1 גיגה-בייט בלבד בדיוק bfloat16, כך שאין שום צורך בחומרה ייעודית כבדה. כל מחשב פיתוח בסיסי או מעבד גרפי פשוט יריצו אותו בלי מאמץ, ותוכלו להעלות אותו לזיכרון של שרת מקומי קטן בחלקיק שניה.

כדי להריץ אותו צריך גרסת transformers של 4.51.0 ומעלה, כי גרסאות ישנות יותר פשוט יזרקו שגיאת מפתח. אין היגיון לשלם ל־API חיצוני על מודל בגודל הזה, העלות העצמית של ההרצה אפסית והשליטה המקומית בקוד עדיפה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen3-0.6B-Base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן עליו מודלים פנימיים ולהפיץ אותו במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗