GPT
הוספת כלי
Q

Qwen3-1.7B-Base

קוד פתוח

Qwenapache-2.02025-04-28

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

בסיס קל משקל של 1.7 מיליארד פרמטרים שמתאים למי שרוצה לאמן מודל משלו או להריץ על חומרה חלשה. הוא עבר אימון על 36 טריליון טוקנים ותומך בהקשר של 32k.

  • 1.7Bפרמטרים
  • 32,768טוקנים בהקשר
  • 3.2 GBמשקל הקבצים
  • 1,920,598הורדות בחודש

מה זה

מדובר במודל בסיס צפוף מהדור השלישי של Qwen, שכולל 1.7 מיליארד פרמטרים ומגיע כמשקל גלם שלא עבר התאמה לשיחה. האימון שלו התבצע בשלושה שלבים על פני 36 טריליון טוקנים ב־119 שפות, שזה פי שלושה כיסוי שפות מהדור הקודם, עם דגש מיוחד על קוד, מתמטיקה ומדעים בשלב השני, והרחבה להקשר של 32,768 טוקנים בשלב השלישי.

בארכיטקטורה הכניסו הפעם qk layernorm ליציבות וחילקו את תשומת הלב ל־16 ראשי Q ו־8 ראשי KV בשיטת GQA. ההבדל המרכזי מול מה שהכרנו בגדלים האלה הוא עומק האימון. 36 טריליון טוקנים לגודל של פחות משני מיליארד פרמטרים אומר שהדחיסה כאן קיצונית, מה שמשאיר מעט מאוד רעש במשקלים ונותן נקודת פתיחה חזקה מאוד לכוונון עדין.

מתאים ל

  • אימון מודל קצה ייעודי

    בסיס קומפקטי וזול להרצה שמתאים לכוונון עדין למשימה ספציפית על מכשירי קצה.

  • השלמת קוד מקומית

    הוא אומן על נתוני פיתוח נרחבים ומתאים כמנוע רקע קל להשלמת שורות קוד בזמן אמת.

  • עיבוד מסמכים ארוכים

    תמיכה מובנית ב־32k טוקנים מאפשרת ניתוח קבצים גדולים בלי לחתוך אותם לחלקים קטנים.

איפה זה נופל

זה מודל בסיס טהור, לא מודל צ'אט. הוא לא יענה לשאלות, לא ימלא הוראות ופשוט ימשיך את הטקסט שקיבל או יחזור עליו בלולאה אם תתנו לו פרומפט רגיל. חייבים לאמן אותו ב־SFT או להשתמש בשיטות מעקב הוראות כדי לקבל ממנו משהו שמתאים לשיחה עם משתמשים. כמו כן, בגלל הגודל הקומפקטי שלו, יכולת ההסקה העמוקה שלו מוגבלת מטבעה למרות האימון על נתוני לוגיקה וקוד.

אותה משפחה

Qwen3 יצא ב־32 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3-0.6B21,493,027 Qwen3-8B13,046,829 Qwen3-4B6,283,681 Qwen3-32B5,156,288 Qwen3-1.7B3,441,144 Qwen3-14B-AWQ2,303,431 Qwen3-30B-A3B2,097,577 Qwen3-4B-Base1,967,145

שאלות
נפוצות

אפשר להשתמש בו ישירות כבוט?

לא. זה מודל בסיס שמיועד להשלמת טקסט בלבד, ולא עבר שום אימון יישור או שיחה. אם תשאלו אותו שאלה הוא פשוט ינסה להמשיך אותה כפסקה ולא יחזיר תשובה מועילה.

למה הספרייה זורקת לי שגיאה כשאני מנסה לטעון אותו?

הארכיטקטורה של הדור השלישי נתמכת רק החל מגרסה 4.51.0 של transformers. כל גרסה ישנה יותר תזרוק שגיאת מפתח על המזהה של המודל, אז צריך לעדכן את החבילה בסביבה.

איזה כרטיס מסך צריך כדי לעשות לו fine-tuning?

מכיוון שהמשקלים תופסים כ־3.2 גיגה בייט בלבד, כרטיס מסך בסיסי עם 8 עד 16 גיגה זיכרון יספיק לכוונון בשיטות כמו LoRA. אם רוצים לאמן את כל השכבות, עדיף להצטייד בכרטיס עם 24 גיגה זיכרון.

איך מריצים

המשקלים שוקלים 3.2 גיגה בייט בפורמט bfloat16, כך שאפשר להריץ אותו בלי בעיה על כרטיס מסך ביתי בסיסי או אפילו על זיכרון של מעבד רגיל. בשביל להריץ אותו בקוד דרך transformers חובה לעדכן לגרסה 4.51.0 ומעלה, אחרת תקבלו שגיאת KeyError כי הארכיטקטורה החדשה לא תזוהה.

הקריאה ל־API חיצוני פחות הגיונית כאן, כי המודל כל כך קל שעלות ההחזקה שלו עצמאית זניחה לחלוטין מול שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen3-1.7B-Base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 3.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0 סטנדרטי. זה מאפשר שימוש מסחרי מלא, שינוי של המשקלים, הפצה ושילוב במוצרים סגורים, בלי תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗