GPT
הוספת כלי
Q

Qwen2-0.5B

קוד פתוח

Qwenapache-2.02024-05-31

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

מודל שפה קטן של פחות מחצי מיליארד פרמטרים ששוקל פחות מג'יגהבייט בודד. הוא נועד למי שרוצה בסיס קל במיוחד לאימון המשך או להתאמה אישית מקומית.

  • 494Mפרמטרים
  • 131,072טוקנים בהקשר
  • 953 MBמשקל הקבצים
  • 818,205הורדות בחודש

מה זה

מדובר במודל הבסיס בסדרת Qwen2 שמכיל 494 מיליון פרמטרים בלבד, מתוכם כ־350 מיליון פרמטרים שאינם שכבת שיבוץ. הוא כולל ארכיטקטורת טרנספורמר עם הפעלת SwiGLU, מנגנון Group Query Attention, וחלון הקשר עצום של 131,072 טוקנים, נתון חריג מאוד ביחס לגודל קובץ של 953 מגהבייט.

המספרים מראים את מקומו המדויק. במבחן MMLU הוא עומד על 45.4, תוצאה שעוברת את Gemma-2B הגדול ממנו פי ארבעה, וב־GSM8K הוא מגיע ל־36.5 נקודות. עם זאת, במשימות קוד ומדעים הוא נשאר מוגבל מאוד, עם 22.0 בלבד ב־HumanEval ו־8.9 ב־Theorem QA. הוא אינו תחליף למודלים של מיליארדי פרמטרים, אבל מציג דחיסת ידע טובה מאוד לנפח שלו.

מתאים ל

  • בסיס לאימון SFT מקומי

    נקודת מוצא זולה להתאמה אישית על משימות ספציפיות, כפי שהמפתחים ממליצים במפורש.

  • עיבוד טקסט במכשירי קצה

    משקל של 953 מגהבייט מאפשר הטמעה ישירה בזיכרון חלש של טלפונים ומחשבים ניידים ישנים.

  • סיווג וניתוח טקסט קל

    מתאים למשימות הבנה בסיסיות באנגלית וסינית שדורשות זמני תגובה אפסיים בעלות מינימלית.

איפה זה נופל

זהו מודל בסיס, והיוצרים מזהירים במפורש לא להשתמש בו ישירות ליצירת טקסט חופשי. בלי אימון מכוון הוא פשוט ישלים מילים במקום לענות לשאלות. בביצועים, יכולות התכנות שלו חלשות עם 22 אחוז בלבד במבחני קוד, והכרטיס מציין אנגלית וסינית בלי התייחסות לתמיכה בעברית.

אותה משפחה

Qwen2 יצא ב־13 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2-1.5B-Instruct707,528 Qwen2-7B-Instruct389,681 Qwen2-0.5B-Instruct263,591 Qwen2-7B238,016 Qwen2-1.5B117,605 Qwen2-72B-Instruct28,878 Qwen2-57B-A14B-Instruct12,530 Qwen2-72B10,852

שאלות
נפוצות

אפשר להוריד אותו ולהתחיל לשוחח איתו ישר?

לא. מדובר במודל בסיס ולא במודל צ'אט, והמפתחים מבהירים שהוא לא מיועד למענה על שאלות מהקופסה. אם תשאלו אותו שאלה הוא עשוי להמשיך אותה בתור טקסט גולמי במקום לענות. לשיחה יש לחפש את גרסת ה־Instruct או לאמן אותו בעצמכם.

למה שהמודל יצטרך חלון הקשר של 131,072 טוקנים בגודל כזה?

החלון הרחב מאפשר להזין מסמכים ארוכים בבת אחת לצורך אימון המשך או משימות הבנה ממוקדות. עם זאת, בגלל כמות הפרמטרים הקטנה, שמירה על קוהרנטיות ודיוק בטקסטים באורך מלא תהיה נמוכה משמעותית ממודלים גדולים.

איך מריצים

בגלל משקל של 953 מגהבייט, אפשר לטעון אותו על מעבד רגיל, טלפון, או כרטיס גרפי בסיסי מאוד בלי שום צורך בחומרת שרתים ייעודית. כל מה שנדרש ברמת הקוד זה להתקין את ספריית transformers מגרסה 4.37.0 ומעלה כדי לתמוך בארכיטקטורה.

אם אתם צריכים תשובות שיחה מיידיות ואין לכם כוונה לאמן אותו, חבל להריץ אותו עצמאית. עדיף לפנות למודל גדול יותר דרך API, או להוריד ישירות את גרסת ה־Instruct של הסדרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2-0.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי קוד, הפצה ושילוב במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗