GPT
הוספת כלי
Q

Qwen2.5-7B

קוד פתוח

Qwenapache-2.02024-09-15

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס חזק של שבעה מיליארד פרמטרים עם תמיכה בהקשר ארוך במיוחד. הוא מיועד למי שרוצה לאמן או לכוונן מודל עצמאי לקוד, מתמטיקה או עיבוד נתונים.

  • 7.6Bפרמטרים
  • 131,072טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 699,049הורדות בחודש

מה זה

מדובר במודל בסיס לא מכוונן שנבנה ליצירת טקסט, עם שיפורים ממוקדים בידע כללי, קוד, מתמטיקה והבנה של מבנים כמו טבלאות ופלט של JSON. המפתחים מדווחים על יכולת לייצר טקסטים ארוכים של מעל 8,000 טוקנים ברצף, לצד תמיכה בריבוי שפות של מעל 29 שפות שונות, כולל ערבית, אנגלית, צרפתית וספרדית.

הייחוד העיקרי לעומת מודלים ותיקים בגודל הזה הוא השילוב בין גודל שנוח לניהול לבין חלון הקשר עצום של 131,072 טוקנים. זה אומר שאפשר להזין לו מסמכים ענקיים או מאגרי קוד שלמים, בתנאי שיש לכם את החומרה המתאימה לטפל בזה.

מתאים ל

  • בסיס לכיוונון עדין

    נקודת מוצא מצוינת לאימון מודל ייעודי למשימות ספציפיות בארגון, הודות לביצועים החזקים בקוד ומתמטיקה.

  • חילוץ נתונים מטבלאות

    מתאים לעיבוד והבנה של קלטים מובנים וייצור פלט מסודר כמו JSON מתוך מסמכים ארוכים.

  • השלמת קוד במסמכים גדולים

    יכולת ייצור של מעל 8,000 טוקנים וחלון הקשר רחב מאפשרים ניתוח של פרויקטי תוכנה מורכבים.

איפה זה נופל

זהו מודל בסיס שלא עבר אימון להנחיות או שיחה, והמפתחים מזהירים מפורשות לא להשתמש בו ישירות לצ'אטבוטים. הוא פשוט ימשיך את הטקסט שתתנו לו במקום לענות עליו. לפני שמשלבים אותו במוצר חובה לבצע לו כיוונון עדין כמו אימון פיקוחי או המשך אימון מקדים, אחרת התוצאות לא יתאימו לשימוש אינטראקטיבי.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

אפשר להשתמש בו מיד כעוזר אישי או צ'אט?

לא מומלץ בכלל. זהו מודל בסיס שלא אומן לעקוב אחרי הוראות שיחה, ולכן הוא ייטה להשלים טקסטים במקום לנהל דיאלוג. בשביל שיחה יש צורך לבצע כיוונון עדין או לבחור בגרסה שעברה התאמה כזו מראש.

האם הוא יעבוד עם גרסאות ישנות של ספריית transformers?

לא. שימוש בגרסה נמוכה מ־4.37.0 יקפיץ שגיאת מערכת מסוג KeyError מפני שהארכיטקטורה שלו נתמכת רק מהגרסה הזו והלאה, ולכן חובה לשדרג אותה מראש.

איך מריצים

המשקלים מגיעים בפורמט bfloat16 ותופסים כמעט 14.2 גיגה בייט. כדי לטעון אותו ולהריץ הסקת מסקנות בסיסית תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט של זיכרון גרפי, ואם תרצו לנצל את מלוא חלון ההקשר תצטרכו הרבה יותר זיכרון מזה עבור הזיכרון של תשומת הלב.

ההרצה מתבצעת ישירות דרך ספריית transformers, אך חובה לעדכן לגרסה 4.37.0 ומעלה כדי להימנע משגיאות ארכיטקטורה. אם אתם רק צריכים מודל שמחזיר תשובות מהירות בלי להשקיע בשרתים ייעודיים או באימון נוסף, עדיף להשתמש במודל שכבר עבר התאמה לשיחה דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-7B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש. אין כאן מגבלות על מספר משתמשים או חובת תשלום תמלוגים, כל עוד אתם מצרפים עותק של הרישיון וקרדיט למקור כפי שנדרש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗