GPT
הוספת כלי
Q

Qwen2.5-14B

קוד פתוח

Qwenapache-2.02024-09-15

  • safetensors
  • qwen2
  • text-generation
  • conversational
  • en

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס שמציעה שילוב חזק של קוד, מתמטיקה וחלון הקשר ענקי. היא מתאימה למי שרוצה לאמן מודל משלו על תשתית איכותית.

  • 15Bפרמטרים
  • 131,072טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 75,741הורדות בחודש

מה זה

מדובר במודל בסיס בגודל של כמעט 15 מיליארד פרמטרים, ולא בגרסה שעברה התאמה להוראות או לצ'אט. המפתחים שלו מדווחים על שיפורים משמעותיים בהשוואה לדור הקודם, במיוחד בכל מה שנוגע למתמטיקה, כתיבת קוד, הבנה של מידע מובנה כמו טבלאות והפקת פלט במבנה של ג'ייסון.

הוא תומך ביותר מ־29 שפות ויודע לטפל בהקשר של עד 131,072 טוקנים, עם יכולת לייצר טקסטים ארוכים שמגיעים עד 8,000 טוקנים. זה הופך אותו למועמד מעניין לעיבוד מסמכים מורכבים, בתנאי שלוקחים בחשבון שמדובר בחומר גלם שדורש עבודה ולא במוצר מוגמר שעונה ישירות למשתמש.

מתאים ל

  • אימון מודל ייעודי

    בסיס מעולה לכוונון עדין למשימות פנימיות בזכות שיפורי הקוד והמתמטיקה.

  • עיבוד מסמכים ארוכים

    הקשר של 128K טוקנים מתאים לניתוח טקסטים גדולים וטבלאות מורכבות.

  • חילוץ מידע מובנה

    היכולת לייצר פלט ג'ייסון הופכת אותו לנוח להמרת טקסט לנתונים.

איפה זה נופל

הכרטיס מבהיר במפורש שזהו מודל בסיס שעבר רק אימון מקדים, ולכן הוא לא מיועד לשיחות. אם תזרקו עליו שאלות כמו לצ'אטבוט, הוא ימשיך את הטקסט במקום לענות. כדי להשתמש בו במוצר תצטרכו להשקיע באימון המשך, בכוונון עדין על פי הוראות או בטכניקות כמו RLHF.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

אפשר להשתמש בו ישירות כבוט שירות לקוחות?

לא, זה מודל בסיס שלא עבר אימון להוראות. הוא פשוט ימשיך את המשפט שתכתבו לו במקום לתת מענה, ולכן בשביל בוט עדיף להוריד את גרסת ה־Instruct של אותה סדרה.

איזה כרטיס מסך צריך כדי להריץ אותו בלי כימות?

הקבצים שוקלים 27.5 גיגה בייט, כך שצריך כרטיס עם לפחות 32 גיגה בייט זיכרון רק כדי לטעון אותו, ועדיף כרטיס של 40 או 48 גיגה בייט כדי להשאיר מקום להקשר הארוך.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־27.5 גיגה בייט בדיוק של bfloat16. כדי להעלות אותו לזיכרון תצטרכו כרטיס מסך חזק עם לפחות 32 או 40 גיגה בייט זיכרון גרפי, או לחלופין לפצל אותו בין כמה כרטיסים או להשתמש בכימות.

מבחינת תוכנה, הוא דורש ספריית transformers בגרסה 4.37.0 ומעלה כדי לא להיתקל בשגיאות טעינה. אם אתם רק צריכים תשובות מהירות ולא מתכננים לאמן אותו בעצמכם, עדיף להשתמש בגרסת ה־Instruct המוכנה או לפנות ל־API חיצוני במקום לתחזק שרת כזה.

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-14B

הקבצים

18 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקולות והפצה שלהם בתוך מוצרים, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗