GPT
הוספת כלי
Q

Qwen2-72B

קוד פתוח

Qwenother2024-05-22

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס פתוח וכבד שמציג ביצועי קוד ומתמטיקה חריגים לגודלו. שווה לבדוק אותו אם אתם בונים פייפליין אימון משלכם וצריכים נקודת פתיחה חזקה.

  • 73Bפרמטרים
  • 131,072טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 10,852הורדות בחודש

מה זה

מדובר במודל בסיס צפוף עם 73 מיליארד פרמטרים, בארכיטקטורת טרנספורמר סטנדרטית עם שיפורים כמו GQA וצימוד משופר של טוקנייזר לשפות מרובות וקוד. הוא לא מגיע מחומם לשיחה, אלא כחומר גלם שמיועד להמשך אימון והתאמות. מפתח שרוצה מנוע לצ'אט לא יקבל פה תוצאה שימושית מהקופסה.

במבחני הביצועים הוא עוקף את Llama 3 70B ואת Mixtral 8x22B ברוב המדדים הקשים. הפער בולט בעיקר בכתיבת קוד עם 64.6 אחוז ב־HumanEval מול 48.2 של לאמה, ובמתמטיקה עם 89.5 אחוז ב־GSM8K. הוא מציג יתרון מובהק גם במבחנים רב לשוניים ומבחנים בסינית, מה שמראה בסיס ידע רחב ועמוק מאוד.

מתאים ל

  • בסיס לאימון מודל קוד

    התוצאות במבחני EvalPlus ו־HumanEval גבוהות משמעותית מהמתחרים, מה שנותן נקודת זינוק מצוינת לכוונון מודל פיתוח ייעודי.

  • פיתוח מודל מומחה למתמטיקה

    עם ציון של מעל 51 אחוז במבחן MATH הקשה, הוא מהווה תשתית מעולה לאימון פותר בעיות מורכבות.

  • עיבוד מסמכים ארוכים

    תמיכה בחלון של 131,072 טוקנים מאפשרת לעבד קבצים ענקיים לאחר ביצוע fine-tuning מותאם.

איפה זה נופל

היוצרים כותבים בפירוש שהם לא ממליצים להשתמש במודל הבסיס הזה לייצור טקסט ישיר. בלי אימון הוראות או התאמת שיחה, הוא ימשיך טקסטים בצורה עיוורת ולא יידע לענות לשאלות כעוזר. בנוסף, במבחני תרגום כלליים כמו Flores-101 הוא קיבל 37.8 אחוז, שזה מעט נמוך יותר מ־Llama 3, ובמבחן TruthfulQA הוא הוציא רק 54.8 אחוז, כך שהוא עדיין נוטה להמציא עובדות בלי הכוונה מדויקת.

אותה משפחה

Qwen2 יצא ב־13 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2-0.5B818,205 Qwen2-1.5B-Instruct707,528 Qwen2-7B-Instruct389,681 Qwen2-0.5B-Instruct263,591 Qwen2-7B238,016 Qwen2-1.5B117,605 Qwen2-72B-Instruct28,878 Qwen2-57B-A14B-Instruct12,530

שאלות
נפוצות

אפשר פשוט להוריד אותו ולהתחיל לשוחח איתו?

לא. זה מודל בסיס שלא עבר תהליך של מענה להוראות, והמפתחים מזהירים מראש מפני שימוש כזה. אם תתנו לו שאלה, הוא ינסה להשלים את המשפט ולא יענה לכם כבוט.

מה גרסת ה־transformers המינימלית שצריך כדי להריץ את הקוד?

הכרטיס דורש התקנה של transformers מגרסה 4.37.0 ומעלה. אם תעבדו עם גרסה ישנה יותר, תקבלו שגיאת KeyError על ארכיטקטורת המודל.

איך מריצים

המשקל הגולמי שלו תופס 135 ג'יגה בייט בפורמט bfloat16, כך שצריך לפחות שני כרטיסי A100 או H100 של 80 ג'יגה בייט רק כדי לטעון אותו לזיכרון בלי שייחנק. מי שרוצה לנצל את חלון ההקשר המלא של 131,072 טוקנים יצטרך זיכרון נוסף עבור ה־KV cache, מה שמחייב שרת ארגוני רציני.

אם אין לכם תשתית ענן ייעודית או חומרה כבדה במשרד, אין הגיון לנסות להרים אותו מקומית. עדיף לפנות לגרסאות מכווננות או להשתמש ב־API מנוהל שמחזיק את המודל, אלא אם המטרה היא לבצע Fine-Tuning מלא על נתונים פרטיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2-72B")
print(pipe("שלום"))

הקבצים

47 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, כלומר לא מדובר ברישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT. לפני שמשלבים אותו במוצר מסחרי, חייבים לבדוק את תנאי השימוש המשפטיים באתר או במאגר הרשמי של היוצרים כדי לוודא שאין מגבלות הפצה או מגבלות על שימוש מסחרי.

הרישיון המלא בעמוד המודל ↗