Qwen1.5-4B
קוד פתוחQwenother2024-01-22
יש כאן גם סקירה על Qwen עצמו.
גרסת בסיס קומפקטית שמציעה חלון הקשר של 32 אלף טוקנים בלי צורך בקוד מותאם אישית. מתאימה למי שרוצה לאמן מודל משלו על גודל ביניים שלא דורש שרת ענק.
- 4Bפרמטרים
- 32,768טוקנים בהקשר
- 7.4 GBמשקל הקבצים
- 19,357הורדות בחודש
מה זה
מדובר במודל שפה גולמי של ארבעה מיליארד פרמטרים מסדרת הבטא של Qwen2. הוא יושב בדיוק בטווח שבין המודלים הקטנים שרצים בכל מקום לבין מודלי ה־7B הכבדים יותר, ומביא איתו תמיכה מובנית בחלון הקשר ארוך מאוד לגודלו. הארכיטקטורה שלו כבר נתמכת ישירות בספריית transformers הרגילה, כך שלא צריך להפעיל קוד צד שלישי לא מוכר כדי לטעון אותו.
המודל אומן על כמויות גדולות של נתונים וכולל טוקנייזר שאמור לתמוך במגוון שפות וקוד. עם זאת, בגרסה הזו היצרנים החליטו לא להכניס מנגנונים מתקדמים כמו חלוקת קשב לקבוצות, שנשמרה רק לגודל של 32B, כך שמבחינת יעילות זיכרון בעיבוד ארוך יש כאן פשרה מסוימת לעומת חלק מהמודלים האחרים בסדרה.
מתאים ל
- אימון מודל מותאם אישית
נקודת מוצא טובה לתהליכי SFT או RLHF כשרוצים מודל ייעודי למשימה מוגדרת.
- אימון המשך על דאטה פנימי
בסיס קומפקטי להזנת טקסטים מקצועיים בארגון לפני שיוצרים מודל צ'אט סופי.
- עיבוד מסמכים ארוכים
חלון של 32 אלף טוקנים מאפשר לבצע משימות על קבצים גדולים בלי לחתוך אותם.
איפה זה נופל
זה מודל בסיס בלבד, והיוצרים שלו כותבים במפורש שלא כדאי להשתמש בו ישירות ליצירת טקסט או לשיחה. הוא לא עבר יישור, כוונון להוראות או סינון בטיחות, ולכן אם תזרקו עליו שאלה הוא עלול פשוט להמשיך את הטקסט בלי לענות. בנוסף, בגרסת הבטא הזו חסרות אופטימיזציות קשב מתקדמות שהוכנסו רק לחלק מהגדלים האחרים.
אותה משפחה
Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.
שאלות
נפוצות
אפשר להשתמש במודל הזה ישירות כבוט לשיחה?
לא. מודל בסיס לא יודע לענות לשאלות אלא רק להשלים טקסט. לשיחה צריך לקחת את גרסת ה־Chat של הסדרה, או לאמן את המודל הזה בעצמכם על נתוני שיחה.
למה מופיעה שגיאת KeyError בעלייה של המודל?
הארכיטקטורה הזו דורשת תמיכה ייעודית שנוספה רק בגרסאות חדשות. התקנה של ספריית transformers מגרסה 4.37.0 ומעלה פותרת את הבעיה מיד.
איך מריצים
במשקל קבצים של 7.4 גיגה בייט ובדיוק של bfloat16, אפשר להחזיק את המודל הזה על כרטיס מסך בודד עם 12 או 16 גיגה זיכרון לצורך הסקת מסקנות בסיסית. כדי להריץ אותו בלי שגיאות חייבים להתקין גרסת transformers מ־4.37.0 ומעלה, אחרת הספרייה פשוט לא תזהה את הארכיטקטורה.
אם הכוונה שלכם היא לבצע אימון המשך או התאמה אישית מלאה, תצטרכו חומרה חזקה בהרבה מכרטיס ביתי פשוט. אם אתם רק צריכים לקבל תשובות מוכנות ממשתמש ולא מאמנים מודל בעצמכם, עדיף לפנות לגרסת הצ'אט של המודל הזה או להשתמש ב־API מנוהל.
from transformers import pipeline
pipe = pipeline("text-generation", model="Qwen/Qwen1.5-4B")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 7.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־other בלבד, ולא כקוד פתוח מוכר וסטנדרטי כמו MIT או Apache. המשמעות היא שאתם חייבים לבדוק את תנאי הרישיון המקוריים של היוצרים בעמוד הפרויקט או במאגר כדי להבין אם מותר לכם לשלב אותו במוצר מסחרי ואילו הגבלות חלות עליכם.