Qwen1.5-1.8B
קוד פתוחQwenother2024-01-22
יש כאן גם סקירה על Qwen עצמו.
גרסת בסיס זעירה עם חלון הקשר של 32K טוקנים. היא מיועדת בעיקר למי שמחפש נקודת מוצא קלה לאימון מותאם אישית או כוונון עדין למשימות מוגדרות.
- 1.8Bפרמטרים
- 32,768טוקנים בהקשר
- 3.4 GBמשקל הקבצים
- 14,486הורדות בחודש
מה זה
מדובר במודל בסיס ששוחרר כגרסת בטא של משפחת Qwen2, בארכיטקטורת דקודר מבוססת טרנספורמר. הוא שוקל מעט מאוד, רק 3.4 גיגה בייט בקובצי המשקולות, אך מגיע עם חלון הקשר רחב של 32,768 טוקנים שנתמך באופן יציב. הארכיטקטורה שלו נשענת על שילובים כמו אקטיבציית SwiGLU והטיה בתשומת הלב של QKV, לצד טוקנייזר מעודכן שנועד לעבוד עם מספר שפות וקוד.
בגרסת הבטא הזו, המפתחים בחרו שלא להכליל מנגנוני תשומת לב מסוימים כמו תשומת לב בחלון מחליק או GQA, ששמורים למודל הגדול יותר בסדרה. בניגוד לגרסאות קודמות, אין פה צורך להריץ קוד חיצוני בהורדה כי הארכיטקטורה מוטמעת ישירות בספריית transformers הרגילה, בתנאי שמשתמשים בגרסה מעודכנת. המודל מיועד לשמש בסיס להמשך עבודה ולא לשיחה חופשית מהקופסה.
מתאים ל
- אימון מותאם על דאטה פנימי
מודל בסיס קל מאוד שמתאים לתהליכי fine-tuning או SFT של חברות על חומרה מקומית זולה.
- עיבוד מסמכים ארוכים
תמיכה מובנית בחלון הקשר של 32K טוקנים שמאפשרת להזין טקסטים ארוכים בלי לקטוע אותם באמצע.
- הטמעה בסביבות קצה
משקל קבצים של 3.4 גיגה בלבד, מה שמאפשר להריץ אותו ישירות על מחשבים פשוטים ללא שרתים ייעודיים.
איפה זה נופל
המפתחים מבהירים במפורש שזה מודל בסיס ולא כדאי להשתמש בו ישירות ליצירת טקסט חופשי. בלי כוונון עדין או יישור, הוא לא יודע לענות כמו עוזר אישי ויכול לפלוט שטויות, לחזור על עצמו או פשוט להמשיך את הטקסט בצורה עיוורת. בנוסף, אף על פי שהטוקנייזר תומך בשפות מרובות, רשימת השפות הרשמית מציינת רק אנגלית, כך שאין הבטחה לגבי איכות הפלט בעברית או בשפות אחרות בלי לבדוק ולאמן אותו קודם.
אותה משפחה
Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.
שאלות
נפוצות
אפשר להשתמש בו ישירות בתור צ'אטבוט?
לא מומלץ בכלל. זהו מודל בסיס שטרם עבר תהליכי יישור לשיחה כמו SFT או RLHF, ולכן הוא לא יתנהג כמו עוזר אינטראקטיבי. לשימושי שיחה עדיף לקחת את גרסת ה־Chat המקבילה של אותה סדרה.
למה מקבלים שגיאת ארכיטקטורה בטעינת המודל?
המודל מבוסס על ארכיטקטורת qwen2 שנוספה רק בגרסאות חדשות של ספריית transformers. כדי לפתור את השגיאה צריך לוודא שמותקנת גרסה 4.37.0 לפחות בסביבת העבודה שלכם.
איך מריצים
כדי להריץ אותו צריך רק את ספריית transformers מגרסה 4.37.0 ומעלה, אחרת מקבלים שגיאת KeyError על ארכיטקטורת qwen2. בגלל הגודל הצנוע ודיוק bfloat16, הוא נכנס בקלות בזיכרון של כרטיס מסך ביתי בסיסי, ואפשר אפילו לטעון אותו על זיכרון מעבד בלי לשבור את הראש על חומרה יקרה.
אם כל מה שאתם צריכים זה שירות צ'אט מהיר או שיחה כללית, עדיף להשתמש בגרסת ה־Chat המיושרת של הסדרה או לפנות ל־API קיים. להריץ את גרסת הבסיס הזו מקומית שווה רק אם אתם מתכננים לעשות לה אימון המשך, fine-tuning, או התאמה ספציפית לדאטה פרטי משלכם.
from transformers import pipeline
pipe = pipeline("text-generation", model="Qwen/Qwen1.5-1.8B")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 3.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המדווח מוגדר רק כ־other, בלי פירוט של תנאי השימוש החופשיים או המגבלות המסחריות בתוך הכרטיס. במצב כזה אי אפשר להניח שמותר לשלב אותו במוצר מסחרי. מי שמתכנן להפיץ אותו חייב לבדוק את הרישיון המלא במאגר הפרויקט לפני שמשלבים אותו בקוד ייצור.