GPT
הוספת כלי
Q

Qwen1.5-32B

קוד פתוח

Qwenother2024-04-01

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס שמציעה גודל ביניים של 32 מיליארד פרמטרים עם תמיכה מובנית ב־32 אלף טוקנים. היא מיועדת בעיקר למי שמתכנן אימון המשך או כוונון עצמאי ולא מחפש מודל שיחה מוכן.

  • 33Bפרמטרים
  • 32,768טוקנים בהקשר
  • 60.6 GBמשקל הקבצים
  • 10,065הורדות בחודש

מה זה

מדובר בגרסת בטא מוקדמת מתוך סדרת Qwen1.5, שכוללת ארכיטקטורת בלוקים מבוססת SwiGLU עם 64 שכבות ודיוק bfloat16. בגודל הספציפי הזה של 32 מיליארד פרמטרים שולב מנגנון Group Query Attention, בשונה מרוב הגדלים האחרים בסדרה שבהם המנגנון הושמט בגרסת הבטא הזו. הוא תוכנן להתמודד עם הקשר ארוך של 32 אלף טוקנים בצורה יציבה, ומשתמש בטוקנייזר מעודכן לקוד ולכמה שפות.

המודל מוגדר אמנם למשימת יצירת טקסט, אבל הוא שוחרר כמודל בסיס ללא התאמות שיחה. מי שבוחר בו מקבל משקל כבד שמתאים לבניית התמחויות ספציפיות, בלי השכבות של הנחיות בטיחות או פורמט צ'אט שמגיעות בגרסאות ה־Chat.

מתאים ל

  • אימון מודל ייעודי

    בסיס גולמי של 32B עם GQA שמתאים לכוונון מדויק (SFT) או RLHF למשימות מוגדרות.

  • אימון המשך על דאטה פנימי

    מודל בסיס חזק שנועד לקלוט מידע טקסטואלי נוסף לפני שלב יצירת השיחה.

  • ניתוח מסמכים ארוכים

    תמיכה מובנית ויציבה בעבודה עם רצפים של עד 32 אלף טוקנים.

איפה זה נופל

המפתחים מבהירים בעצמם שהם לא ממליצים להשתמש במודל הזה ישירות ליצירת טקסט חופשי. הוא לא עבר יישור של שיחה, ולכן ללא אימון נוסף תקבלו השלמת טקסט גולמית ולא מענה ישיר לבקשות שלכם. בנוסף, מנגנון תשומת הלב המעורב שהובטח לסדרה המלאה הושמט מגרסת הבטא הזו.

אותה משפחה

Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen1.5-7B108,909 Qwen1.5-0.5B-Chat71,372 Qwen1.5-0.5B51,618 Qwen1.5-32B-Chat49,496 Qwen1.5-1.8B-Chat30,941 Qwen1.5-4B19,357 Qwen1.5-4B-Chat15,521 Qwen1.5-14B15,485

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר שיחה?

לא מומלץ. זהו מודל בסיס שלא עבר כוונון לשיחות או הנחיות, והמפתחים מציינים במפורש ליישם עליו קודם אימונים נוספים כמו SFT.

איזו גרסת תוכנה צריך כדי להעלות אותו?

חובה להשתמש בגרסת transformers 4.37.0 לפחות. גרסאות ישנות יותר לא יזהו את ארכיטקטורת qwen2 ויעצרו עם שגיאת מפתח.

איך מריצים

כדי להריץ אותו צריך להתקין את ספריית transformers מגרסה 4.37.0 ומעלה, אחרת הקוד יזרוק שגיאת KeyError סביב הגדרת הארכיטקטורה. אין צורך לסמן trust_remote_code בהרצה, כי התמיכה כבר מובנית בספרייה הרשמית.

המשקלים תופסים 60.6 גיגה בייט שמחולקים ל־27 קבצים שונים. בגלל שמדובר ב־33 מיליארד פרמטרים כמעט בדיוק bfloat16, צריך זיכרון וידאו משמעותי כדי להחזיק את המודל עצמו לפני שמחשבים את זיכרון ההקשר של 32K. אם אין לכם חומרת שרתים מתאימה לכך, פנייה לשירותי ענן תהיה מעשית בהרבה מהרמה מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen1.5-32B")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 60.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המודל מוגדר כ־other בלבד, ולא תחת רישיון קוד פתוח סטנדרטי ומוכר. המשמעות היא שחובה לבדוק את תנאי השימוש המדויקים של הפרויקט לפני שמשלבים אותו במוצר או בתשתית מסחרית, כדי לוודא שאין הגבלות שימוש או הפצה.

הרישיון המלא בעמוד המודל ↗