GPT
הוספת כלי
Q

Qwen1.5-110B

קוד פתוח

Qwenother2024-04-25

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס מפלצתית שמיועדת לאימון המשך וכוונון עדין, ולא לשיחה ישירה מהקופסה. אם יש לכם קלאסטר כרטיסים חזק ואתם צריכים בסיס רחב להתאמה אישית, זו נקודת פתיחה רצינית.

  • 111Bפרמטרים
  • 32,768טוקנים בהקשר
  • 207 GBמשקל הקבצים
  • 614הורדות בחודש

מה זה

מדובר במודל צפוף של מעל 111 מיליארד פרמטרים, חלק מסדרת גרסאות הבטא לקראת הדור הבא של הפרויקט. הוא כולל תמיכה בארכיטקטורת Group Query Attention שמקלה על עומס הזיכרון בריצה, יחד עם חלון הקשר יציב של 32K טוקנים וטוקנייזר מעודכן שמתמודד טוב יותר עם שפות שונות וקוד.

בניגוד לגרסאות צ'אט שעברו יישור והנחיות, זהו מודל בסיס טהור של השלמת טקסט. אין כאן מנגנוני סינון או התנהגות מובנית של עוזר וירטואלי, אלא מאגר ידע גולמי שנועד לשמש תשתית למי שבונה מודל ייעודי בעצמו.

מתאים ל

  • אימון המשך על דאטה ייעודי

    נקודת מוצא גדולה לאימון נוסף עבור ארגונים שמחזיקים מאגרי טקסט ענקיים.

  • כוונון למודל שיחה ארגוני

    בסיס גולמי ליישום תהליכי SFT ויישור לפי הנחיות פנימיות.

  • התמחות במשימות קוד מורכבות

    הטוקנייזר המעודכן וגודל המודל מתאימים ליצירת מודל מומחה לפיתוח תוכנה.

איפה זה נופל

המפתחים עצמם מצהירים במפורש לא להשתמש במודל הזה ישירות ליצירת טקסט עבור משתמשי קצה. הוא חסר כוונון עדין, לא יודע לעקוב אחרי הוראות פשוטות בלי פרומפטים מותאמים, ויכול לייצר טקסטים שבורים או לא צפויים אם לא תעבירו אותו תהליך אימון מקדים, התאמה מונחית או יישור נוסף.

אותה משפחה

Qwen1.5 יצא ב־21 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen1.5-7B108,909 Qwen1.5-0.5B-Chat71,372 Qwen1.5-0.5B51,618 Qwen1.5-32B-Chat49,496 Qwen1.5-1.8B-Chat30,941 Qwen1.5-4B19,357 Qwen1.5-4B-Chat15,521 Qwen1.5-14B15,485

שאלות
נפוצות

אפשר להתקין אותו ולהתחיל לשוחח איתו בצ'אט?

לא כדאי. זהו מודל בסיס שמשלים טקסט ולא עבר יישור לשיחה, ולכן הוא יתקשה לענות לשאלות כעוזר. למטרות צ'אט עדיף להוריד ישירות את גרסת ה־Chat המקבילה.

למה המערכת זורקת לי שגיאת KeyError על qwen2?

השגיאה הזו מופיעה כשגרסת transformers בסביבה ישנה מדי. צריך לשדרג לגרסה 4.37.0 ומעלה כדי לקבל תמיכה מובנית בארכיטקטורה הזו.

איך מריצים

כדי לטעון 207 גיגה בייט בפורמט bfloat16 תצטרכו שרת עם כמה מאיצי A100 או H100 בנפח של 80 גיגה בייט כל אחד, לפחות ארבעה כרטיסים רק כדי להחזיק את המשקלים בזיכרון. המודל נתמך ישירות בספריית transformers מגרסה 4.37.0 ומעלה וללא צורך בקוד מרוחק.

אם אין לכם תשתיות כאלה זמינות ומתוחזקות, הרמה עצמאית של מפלצת כזו היא כאב ראש יקר. לרוב המפתחים עדיף לקרוא למודל דרך ספק API חיצוני, אלא אם הדרישה היא אימון פרטי ומלא על נתונים פנימיים בארגון.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen1.5-110B")
print(pipe("שלום"))

הקבצים

40 קבצים במאגר, 207 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כמותאם אישית ולא כרישיון קוד פתוח סטנדרטי. כדי להבין אם מותר להשתמש בו במוצר מסחרי, חייבים לבדוק את תנאי השימוש הספציפיים שפרסם הצוות במאגר שלהם לפני שמשלבים אותו בפיתוח.

הרישיון המלא בעמוד המודל ↗