GPT
הוספת כלי
Q

Qwen2.5-32B-Instruct

קוד פתוח

Qwenapache-2.02024-09-17

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

יש כאן גם סקירה על Qwen עצמו.

גרסת 32B מכוונת הוראות שמציעה שילוב חזק של קוד, מתמטיקה ותמיכה בהקשר ארוך. מתאים למי שרוצה ביצועים קרובים למודלי ענק בלי להחזיק תשתית מפלצתית.

  • 33Bפרמטרים
  • 32,768טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 2,181,370הורדות בחודש

מה זה

מדובר במודל של 32.5 מיליארד פרמטרים שעבר אימון מקדים והתאמה להוראות. הוא תוכנן להתמודד טוב יותר מקודמיו עם קוד, מתמטיקה, הבנת נתונים מובנים כמו טבלאות ויצירת פלטים מובנים כמו JSON. בנוסף הוא עמיד יותר להנחיות מערכת מגוונות, מה שעוזר לבניית בוטים מבוססי תפקיד.

המודל מגיע עם תמיכה מובנית בייצור טקסטים ארוכים של מעל 8K טוקנים, ותומך ביותר מ־29 שפות כולל אנגלית, ערבית, ספרדית ועוד. עברית לא מצוינת במפורש ברשימה של היוצרים, ולכן חובה לבדוק אותו עצמאית לפני שמסתמכים עליו בעברית שוטפת.

מתאים ל

  • חילוץ מידע ויצירת JSON

    המודל שופר במיוחד להבנת טבלאות ויצירת מבני נתונים מדויקים בלי סטיות מהפורמט המבוקש.

  • סיוע בכתיבת קוד

    האימון התמקד ביכולות פיתוח ומתמטיקה מורכבות, מה שהופך אותו לחזק במשימות תכנות.

  • בוטים מבוססי תפקיד

    עמידות גבוהה יותר להנחיות מערכת מאפשרת להגדיר תנאים ואישיות לבוט בלי שיישבר בקלות.

איפה זה נופל

ברירת המחדל מוגדרת ל־32,768 טוקנים. הרחבה עד 131,072 טוקנים דורשת הגדרת YaRN בקובץ התצורה, וב־vLLM מדובר בפתרון סטטי שעלול לפגוע בביצועים על טקסטים קצרים. היוצרים ממליצים להפעיל את ההרחבה הזו רק כשחייבים אותה ממש.

בנוסף, הכרטיס לא מפרט תמיכה ישירה בעברית, כך שיכולות המודל בשפה הזו לא מובטחות מראש ודורשות בדיקה יסודית לפני שילוב במוצר.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-14B-Instruct-AWQ2,136,387 Qwen2.5-0.5B1,691,482

שאלות
נפוצות

איך אפשר לנצל את כל 128K הטוקנים?

הקובץ מגיע מוכן ל־32,768 טוקנים. כדי לעלות מעבר לזה צריך להוסיף הגדרת YaRN לקונפיגורציה, אבל צריך לקחת בחשבון שבכלים מסוימים זה עלול לפגוע באיכות של טקסטים קצרים.

האם המודל יודע לייצר טקסטים ארוכים?

הוא תוכנן לייצר פלט של עד 8K טוקנים ברצף, בניגוד למודלים רבים שעוצרים או מאבדים כיוון הרבה קודם.

איך מריצים

המשקל הכולל של הקבצים עומד על 61.0 GB בפורמט bfloat16. כדי להריץ אותו מקומית בצורה הזו תצטרכו כרטיסי מסך עם זיכרון ייעודי גדול מספיק להחזקת המשקלים וניהול ההקשר, במיוחד אם מנצלים את מלוא האורך האפשרי. בספריית transformers צריך גרסה 4.37.0 ומעלה כדי לא להיתקל בשגיאות טעינה.

להרצה בפועל היוצרים ממליצים על vLLM. אם נפח הזיכרון שלכם מוגבל או שאתם לא רוצים לנהל שרתים ייעודיים לגודל הזה, עדיף לפנות ל־API חיצוני שמארח את המודל במקום להתעסק בתחזוקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-32B-Instruct")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗