Qwen1.5-0.5B
קוד פתוחQwenother2024-01-22
יש כאן גם סקירה על Qwen עצמו.
מודל שפה זעיר של 620 מיליון פרמטרים שמגיע עם חלון הקשר של 32,768 טוקנים. הוא שוקל רק 1.2 גיגה בייט ומיועד בעיקר למי שרוצה לאמן או לכוונן מודל בסיס על חומרה פשוטה.
- 620Mפרמטרים
- 32,768טוקנים בהקשר
- 1.2 GBמשקל הקבצים
- 51,618הורדות בחודש
מה זה
מדובר בגרסת הבטא לקראת Qwen2, שמגיעה כמודל בסיס מסוג decoder-only בפורמט bfloat16. הוא כולל 24 שכבות וארכיטקטורת Qwen2ForCausalLM עם אקטיבציית SwiGLU. בניגוד לגרסאות קודמות, אין פה צורך להריץ קוד מרוחק עם trust_remote_code, והוא נתמך ישירות בספריית transformers הרשמית מגרסה 4.37.0 ומעלה.
הייחוד העיקרי כאן הוא השילוב בין גודל פיזי מינימלי לחלון הקשר של 32K טוקנים, תכונה שלא רואים בדרך כלל במשקלים האלה. עם זאת, בגרסת הבטא הזו המפתחים הורידו מנגנונים כמו Group Query Attention ושילוב של Sliding Window Attention, כך שמבנה הקשב נשאר בסיסי יותר בהשוואה לחלק מהגדלים האחרים בסדרה.
מתאים ל
- בסיס לכוונון ייעודי
נקודת מוצא זולה ומהירה לאימון SFT או המשך pretraining למשימות ממוקדות.
- עיבוד מסמכים ארוכים
חלון הקשר של 32K טוקנים במודל קל במיוחד שמאפשר לקרוא טקסט ארוך בחומרה חלשה.
- ניסויי מחקר ופיתוח
בדיקת רעיונות וארכיטקטורות במהירות בלי לשרוף תקציבי ענן גדולים.
איפה זה נופל
המפתחים מבהירים במפורש שהם לא ממליצים להשתמש במודל הבסיס הזה לייצור טקסט ישיר. הוא דורש אימון המשך, כוונון עדין או יישור כדי להוציא תוצאות קוהרנטיות בשיחה. בנוסף, בגרסת הבטא הנוכחית לא נכללו מנגנוני GQA וקשב בחלון מחליק, מה שעלול להכביד על הזיכרון בעבודה עם חלון ההקשר המלא של 32K למרות גודלו הקטן.
אותה משפחה
Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.
שאלות
נפוצות
האם אפשר להשתמש בו ישירות לצ'אט?
לא מומלץ. זהו מודל בסיס שלא עבר אימון שיחה או התאמה להוראות. המפתחים ממליצים להשתמש בו רק אחרי אימון נוסף כמו SFT או RLHF, או לקחת ישירות את גרסת ה־Chat של הסדרה.
למה מופיעה לי שגיאה כשאני מנסה לטעון אותו?
השגיאה הנפוצה נובעת מגרסת ספרייה ישנה מדי. המודל דורש transformers בגרסה 4.37.0 ומעלה כדי לזהות את ארכיטקטורת qwen2, ולכן שדרוג החבילה יפתור את הבעיה מיד.
איך מריצים
כדי להריץ אותו צריך התקנה פשוטה של ספריית transformers מגרסה 4.37.0 ואילך, אחרת תקבלו שגיאת KeyError על זיהוי הארכיטקטורה. עם משקל של 1.2 גיגה בייט בלבד בעשרה קבצים, אפשר לטעון אותו על כמעט כל כרטיס מסך בסיסי או מעבד מודרני בלי להשקיע בחומרה ייעודית.
אם אתם שוקלים לקרוא ל־API חיצוני רק בשביל גודל כזה, זה כנראה מיותר, אלא אם אין לכם שרת בכלל. העלות החישובית של מודל כזה אפסית, והרצה מקומית תיתן לכם שליטה מלאה בנתונים ובזמני התגובה.
from transformers import pipeline
pipe = pipeline("text-generation", model="Qwen/Qwen1.5-0.5B")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־other ואינו מפורט במלואו בעמוד המודל. המשמעות היא שאין אישור אוטומטי לשימוש מסחרי חופשי, וחובה לבדוק את תנאי הרישיון המקוריים במאגר הפרויקט לפני שמשלבים אותו במוצר.