GPT
הוספת כלי
Q

Qwen3.5-0.8B-Base

קוד פתוח

Qwenapache-2.02026-02-28

  • transformers
  • safetensors
  • qwen3_5
  • image-text-to-text
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס מולטימודלית קטנה במיוחד עם 873 מיליון פרמטרים וחלון הקשר עצום של 262,144 טוקנים. פתרון מתאים למי שרוצה לאמן או לכוונן מודל מקומי לקלט של תמונה וטקסט בלי להחזיק שרת יקר.

  • 873Mפרמטרים
  • 262,144טוקנים בהקשר
  • 1.6 GBמשקל הקבצים
  • 201,549הורדות בחודש

מה זה

מדובר במודל בסיס שמשלב טקסט ותמונה כבר בשלב האימון המוקדם, מה שמאפשר לו לנתח תמונות לצד טקסט בארכיטקטורה אחודה. המבנה שלו משלב שכבות מסוג Gated DeltaNet יחד עם מנגנון קשב מקובץ, פריסה שמכוונת להורדת זמני השהיה ולתפוקה גבוהה. בנוסף, הוא אומן לתמיכה ב־201 שפות ודיאלקטים ומחזיק אוצר מילים של 248,320 טוקנים.

הייחוד כאן הוא השילוב בין גודל פיזי זעיר של 1.6 גיגה בייט לחלון הקשר ילידי של 262,144 טוקנים, שניתן להרחבה עד מעל מיליון טוקנים לפי נתוני היצרן. בניגוד למודלים ייעודיים לשיחה, הדגם הזה לא עבר התאמה להוראות אלא נועד לשמש תשתית להמשך פיתוח, אם כי טוקני השליטה שלו כבר מוכנים לכוונון עדין יעיל בשיטת LoRA.

מתאים ל

  • אימון LoRA על חומרה מקומית

    המשקל הזעיר וטוקני השליטה המוכנים מאפשרים כוונון עדין מהיר וזול על מחשב אישי רגיל.

  • עיבוד מסמכים ותמונות ארוכים

    חלון הקשר של 262,144 טוקנים מתאים לניתוח קבצים מורכבים שמשלבים טקסט ורכיבים ויזואליים.

  • ניסויי מחקר במודלי ראייה

    הארכיטקטורה המעורבת משמשת בסיס פתוח למחקר על יכולות מולטימודליות בגדלים קטנים.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה, ולכן הוא לא יענה לפקודות ישירות מהקופסה אלא ינסה להשלים טקסט באופן עיוור. כדי לקבל ממנו תשובות הגיוניות בצ'אט או במשימות מוגדרות, תצטרכו לבצע עליו אימון נוסף או כוונון עדין. בנוסף, חלון הקשר של מאות אלפי טוקנים עלול לדרוש זיכרון רב בזמן ריצה בפועל, ולמרות התמיכה הרחבה בשפות, איכות הפלט בעברית במודל בסיס בגודל 873 מיליון פרמטרים דורשת בדיקה קפדנית לפני שימוש אמיתי.

אותה משפחה

Qwen3.5 יצא ב־20 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen3.5-9B11,389,211 Qwen3.5-4B7,264,578 Qwen3.5-2B3,115,741 Qwen3.5-0.8B2,412,896 Qwen3.5-27B2,296,792 Qwen3.5-35B-A3B2,290,236 Qwen3.5-122B-A10B-FP81,612,865 Qwen3.5-35B-A3B-FP81,469,426

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כעוזר צ'אט?

לא. מדובר במודל בסיס שלא עבר אימון ייעודי להוראות או לשיחה. אם תשאלו אותו שאלה הוא רק ינסה להמשיך את המשפט, ולכן תצטרכו לכונן אותו בעצמכם או להשתמש בגרסת Instruct אם תפורסם כזו.

איזה זיכרון נחוץ כדי לעבוד עם חלון ההקשר המלא?

אמנם משקל המודל הוא רק 1.6 גיגה בייט, אבל החזקת הקשר של מאות אלפי טוקנים בזיכרון תדרוש משאבים נוספים מעבר למשקל הבסיסי. למשימות קצרות כרטיס מסך בסיסי יספיק, אך לניצול מלא של ההקשר תצטרכו להקצות זיכרון RAM או VRAM משמעותי.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.6 גיגה בייט בלבד, כך שתוכלו להריץ אותו כמעט על כל חומרה מודרנית. כרטיס מסך ביתי פשוט עם 4 או 8 גיגה זיכרון יספיק בקלות להרצה ואפילו לאימון מקומי בשיטת LoRA, והוא נתמך בספריות כמו transformers, vLLM ו־SGLang.

אין סיבה לשלם ל־API חיצוני עבור מודל בנפח של פחות ממיליארד פרמטרים. הרצה עצמית כאן זולה, פשוטה להתקנה, וחוסכת תלות בשירותי ענן חיצוניים כל עוד יש לכם שרת מינימלי.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="Qwen/Qwen3.5-0.8B-Base")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא ומתירני. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗