GPT
הוספת כלי
Q

Qwen2-7B

קוד פתוח

Qwenapache-2.02024-06-04

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס חזק שמתעלה במבחני קוד ומתמטיקה על מתחרים בגודל שמונה מיליארד פרמטרים. הבחירה בו הגיונית אם אתם מתכננים אימון המשך או התאמה אישית, ולא צריכים צ'אט מוכן מהקופסה.

  • 7.6Bפרמטרים
  • 131,072טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 238,016הורדות בחודש

מה זה

מדובר במודל שפה גולמי של 7.6 מיליארד פרמטרים, המבוסס על ארכיטקטורת טרנספורמר עם שינויים הנדסיים כמו מנגנון קשב מסוג group query. המטרה שלו היא לשמש בסיס יציב לעיבוד טקסט, כתיבת קוד וחישובים, לצד חלון הקשר חריג בגודלו שמגיע ל־131,072 טוקנים.

במבחני הביצועים הוא עוקף מודלים מקבילים כמו Llama-3-8B ו־Gemma-7B, בעיקר בתכנות ומתמטיקה. ציון של 51.2 ב־HumanEval וציון של 79.9 ב־GSM8K מציגים פער ניכר מהמתחרים בקטגוריית המשקל שלו. במבחני שפה כלליים באנגלית, כמו MMLU, הוא מוביל עם 70.3, אם כי במשימות היגיון ספציפיות כמו HellaSwag מודלים וותיקים יותר עדיין מחזיקים ביתרון קל.

מתאים ל

  • תשתית לאימון מודל ייעודי

    נקודת מוצא חזקה לאימון המשך והתאמה אישית של מודל פרטי לחברות בזכות תוצאות הבסיס הגבוהות שלו.

  • יצירת כלי עזר לתכנות

    התוצאות במבחני HumanEval ו־EvalPlus מראות הבנה טובה של קוד בשפות פיתוח מגוונות.

  • עיבוד מסמכים ארוכים

    תמיכה בתשתית הקשר של 131,072 טוקנים מאפשרת הזנה וניתוח של קבצים טקסטואליים שלמים ברצף.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה שעבר כוונון להוראות. היוצרים עצמם מזהירים במפורש לא להשתמש בו ישירות ליצירת טקסט חופשי או שיחה עם משתמשים. ללא שלב מקדים של אימון נוסף כמו SFT או RLHF, הפלטים שלו יהיו המשכי טקסט גולמיים שלא תמיד יענו להוראות שתתנו לו. בנוסף, נתוני הכרטיס מציינים אנגלית כשפה מרכזית לצד משימות בסינית, כך שביצועים בעברית אינם מתועדים במדדים הרשמיים ומחייבים בדיקה זהירה.

אותה משפחה

Qwen2 יצא ב־13 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2-0.5B818,205 Qwen2-1.5B-Instruct707,528 Qwen2-7B-Instruct389,681 Qwen2-0.5B-Instruct263,591 Qwen2-1.5B117,605 Qwen2-72B-Instruct28,878 Qwen2-57B-A14B-Instruct12,530 Qwen2-72B10,852

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כבוט?

לא. מדובר במודל בסיס שיודע רק לחזות את המילים הבאות ולא במודל צ'אט שמבין שיחה. אם תשאלו אותו שאלה, הוא עשוי להמשיך לייצר שאלות דומות במקום לענות, ולכן חובה לבצע לו כוונון מראש או לבחור בגרסת ה־Instruct שלו.

איזה שגיאה נפוצה עלולה להופיע בהרצה הראשונה?

אם חבילת transformers שלכם ישנה מגרסה 4.37.0, תקבלו שגיאת KeyError על הארכיטקטורה. עדכון פשוט של הספרייה בסביבת העבודה יפתור את הבעיה.

איך מריצים

המשקל הכולל של הקבצים עומד על 14.2 גיגה־בייט בפורמט bfloat16. כדי להעלות אותו לזיכרון בלי קיטועים צריך כרטיס מסך עם לפחות 16 גיגה־בייט של VRAM עבור הסקת מסקנות בסיסית, ויותר מכך אם מנצלים את מלוא חלון ההקשר. הספריה דורשת גרסת transformers מ־4.37.0 ומעלה כדי לזהות את הארכיטקטורה.

אם הכוונה שלכם היא לבצע אימון המשך, כרטיס יחיד לא יספיק ותצטרכו תשתית מרובת כרטיסים או שירות ענן ייעודי. עבור מי שצריך רק שליפת תשובות מיידית בלי התאמת משקלים, החזקת שרת פרטי למודל כזה יקרה ומיותרת בהשוואה לשימוש בנקודת קצה מנוהלת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2-7B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקלים והפצה בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי, בלי חובת שיתוף של הקוד או המוצר שפיתחתם סביבו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗