GPT
הוספת כלי
Q

Qwen3-14B-Base

קוד פתוח

Qwenapache-2.02025-04-28

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס לא מאולפת של 15 מיליארד פרמטרים שמתאימה לאימון עצמאי. מקבלים כאן מודל שאומן על עשרות טריליוני טוקנים ומיועד בעיקר למי שרוצה לבנות עליו שכבת התאמה פרטית.

  • 15Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 626,423הורדות בחודש

מה זה

מדובר במודל שפה צפוף מהדור השלישי של משפחת המודלים הזו, שכולל כמעט 15 מיליארד פרמטרים. שלב האימון המקדים שלו התפרס על פני שלושים ושישה טריליון טוקנים ב־119 שפות שונות, וכלל דגש חזק על קוד, מתמטיקה, ספרי קריאה ודאטה סינתטי. הוא בנוי על ארכיטקטורה של 40 שכבות עם מנגנון תשומת לב מסוג GQA ו־qk layernorm שנועד לשמור על יציבות בזמן עיבוד.

האימון עצמו חולק לשלושה שלבים ברורים, כאשר השלב האחרון מתמקד בהרחבת ההבנה להקשרים ארוכים עד לטווח של 32,768 טוקנים. השינויים האלה הופכים אותו לבסיס יציב יותר למי שרוצה לעשות fine-tuning למשימות מורכבות של לוגיקה או תכנות בלי להתחיל מאפס. בניגוד לגרסאות צ'אט, הוא פשוט מנחש את הטוקן הבא ולא מנסה לנהל שיחה, כך שהוא לא עבר שום התאמה להוראות או סינון בטיחותי מראש.

מתאים ל

  • אימון מודל פנימי לארגון

    בסיס חזק שעבר אימון על 36 טריליון טוקנים, ומאפשר לבצע התאמה על דאטה פרטי ומשימות ייעודיות.

  • יצירת והשלמת קוד

    שלב האימון השני התמקד בלוגיקה ותכנות, מה שמאפשר לו להשלים מקטעי קוד ברצף טבעי.

  • עיבוד טקסט רב-לשוני

    התמיכה הרחבה ב־119 שפות מאפשרת לבנות עליו משימות סיווג ותרגום למגוון שווקים שונים.

איפה זה נופל

זהו מודל בסיס טהור, מה שאומר שהוא לא יודע מה זה צ'אט ולא יציית להוראות ישירות. אם תשאלו אותו שאלה, הוא עשוי להמשיך אותה בשאלות נוספות במקום לענות. הוא דורש אימון נוסף כדי להיות שמיש במוצר סופי. בנוסף, חלון ההקשר מוגבל ל־32 אלף טוקנים בלבד, כך שהוא לא מיועד לניתוח של קבצי ענק או בסיסי קוד שלמים בבת אחת.

אותה משפחה

Qwen3 יצא ב־32 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3-0.6B21,493,027 Qwen3-8B13,046,829 Qwen3-4B6,283,681 Qwen3-32B5,156,288 Qwen3-1.7B3,441,144 Qwen3-14B-AWQ2,303,431 Qwen3-30B-A3B2,097,577 Qwen3-4B-Base1,967,145

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כבוט לשיחה עם משתמשים?

לא מומלץ בכלל. המודל לא עבר שום אימון שיחה או התאמה להנחיות, והוא פשוט ימשיך את הטקסט שלכם במקום להגיב כמו עוזר וירטואלי. אם אתם מחפשים בוט, אתם צריכים גרסת Instruct או שתצטרכו לאמן אותו בעצמכם על דאטה של שיחות.

איזו שגיאה מופיעה כשמנסים להריץ אותו עם ספריות ישנות?

אם ספריית transformers שלכם ישנה מגרסה 4.51.0, הקוד ייכשל מיד ויזרוק שגיאת מפתח על המזהה של הארכיטקטורה. חייבים לוודא שמעדכנים את החבילה לפני שמנסים לטעון את המשקלים מהרשת.

איך מריצים

המשקל הכולל של הקבצים עומד על 27.5 ג'יגה בייט בדיוק bfloat16. כדי לטעון ולהריץ אותו בצורה מקומית תצטרכו כרטיס מסך עם לפחות 32 ג'יגה בייט של זיכרון ייעודי, או לחלופין לפצל אותו על כמה כרטיסים קטנים יותר, אחרת המערכת תיפול על מחסור בזיכרון.

מבחינת תוכנה, יש דרישה חד-משמעית לעבוד עם ספריית transformers בגרסה 4.51.0 ומעלה, כי בגרסאות ישנות יותר תקבלו שגיאת KeyError על סוג המודל. אם אין לכם שרת ייעודי פנוי עם החומרה הזו, עדיף בהרבה לפנות לפתרונות ענן או שירותי API חיצוניים שמחזיקים כבר את המשקלים ומאפשרים לשלם לפי קריאה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen3-14B-Base")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן אותו מחדש ולשלב אותו במוצרים פרטיים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗