GPT
הוספת כלי
Q

Qwen2.5-32B

קוד פתוח

Qwenapache-2.02024-09-15

  • safetensors
  • qwen2
  • text-generation
  • conversational
  • en

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס של 33 מיליארד פרמטרים שמציעה חלון הקשר של 131,072 טוקנים ויכולות משופרות בקוד ובמתמטיקה. היא מיועדת בעיקר למי שרוצה לאמן או לכוונן מודל עצמאי משלו.

  • 33Bפרמטרים
  • 131,072טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 63,483הורדות בחודש

מה זה

מדובר במודל שפה גולמי מסדרת Qwen2.5 שכולל שיפורים בידע כללי, כתיבת קוד, פתרון בעיות מתמטיות והבנת מידע מובנה כמו טבלאות. הוא תומך בהקשר של עד 131,072 טוקנים ויכול לפלוט עד 8,000 טוקנים ברצף, תוך התמודדות טובה יותר עם יצירת פלט מובנה כמו קובצי JSON.

ההבדל המרכזי כאן מול גרסאות אחרות הוא שמדובר במודל בסיס שעבר רק אימון מקדים, ללא התאמה להוראות או לצ׳אט. הוא נבנה על ארכיטקטורה שכוללת 64 שכבות ושימוש בטכנולוגיית Grouped Query Attention, ותומך ביותר מ־29 שפות שונות, אך ללא עבודה נוספת מצדכם הוא לא יתנהג כמו עוזר אישי אלא רק ישלים טקסטים.

מתאים ל

  • בסיס לכוונון עצמאי

    נקודת מוצא מצוינת לאימון מודל ייעודי בעזרת SFT או RLHF בזכות גודל של 33 מיליארד פרמטרים.

  • עיבוד מסמכים ארוכים

    תמיכה בחלון של עד 131,072 טוקנים מאפשרת לנתח טקסטים מורכבים וגדולים בהרצה אחת.

  • יצירת פלט מובנה

    הארכיטקטורה שופרה במיוחד לייצור תחביר JSON והבנת נתונים מטבלאות בצורה אמינה.

איפה זה נופל

המפתחים מצהירים במפורש שלא מומלץ להשתמש במודל הזה לשיחות, כיוון שהוא מודל בסיס שלא עבר כוונון להוראות. אם תשאלו אותו שאלה ישירה, הוא פשוט ימשיך את הטקסט ולא יספק תשובה מועילה, אלא אם תעבירו אותו שלב של אימון המשך כמו SFT או RLHF.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

אפשר להוריד את המודל ולהתחיל להתכתב איתו מיד?

לא. היוצרים מבהירים שמדובר במודל בסיס שלא הותאם לשיחה. כדי להשתמש בו לצ׳אט תצטרכו לאמן אותו בעצמכם על הוראות או להוריד את גרסת ה־Instruct של הסדרה.

מהי דרישת התוכנה החשובה ביותר להרצת המודל?

יש לוודא שספריית transformers מותקנת בגרסה 4.37.0 ומעלה. גרסאות ישנות יותר יזרקו שגיאת מפתח ולא יזהו את ארכיטקטורת המודל.

איך מריצים

המשקל הכולל של הקבצים עומד על 61.0 ג׳יגה בייט בדיוק bfloat16, מה שאומר שתצטרכו חומרת שרתים רצינית עם זיכרון גרפי גבוה מאוד כדי לטעון אותו, או להשתמש בכימות כדי להריץ על חומרה מקומית נגישה יותר. המפתחים מציינים שחובה להשתמש בגרסת transformers שהיא 4.37.0 ומעלה, אחרת תקבלו שגיאה טכנית בזיהוי הארכיטקטורה.

אם אין לכם צורך באימון מותאם אישית או בתשתיות מקומיות כבדות, הרצה עצמאית של מודל בסיס בגודל כזה תהיה יקרה ומסורבלת, ובמקרים כאלה עדיף לפנות למודלים מכווננים או לשירותים מנוהלים.

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-32B

הקבצים

27 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקולות, הפצה ושילוב במוצרים מסחריים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗