GPT
הוספת כלי
Q

Qwen2.5-72B

קוד פתוח

Qwenother2024-09-15

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס פתוח וענק עם 73 מיליארד פרמטרים, שמיועד למי שרוצה לאמן או לכוונן מודל משלו. הוא מביא חלון הקשר עצום של 128K טוקנים ויכולות חזקות בקוד, מתמטיקה וטבלאות.

  • 73Bפרמטרים
  • 131,072טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 43,094הורדות בחודש

מה זה

מדובר בגרסת הבסיס נטולת כוונון ההוראות של סדרת Qwen2.5, בגודל הגדול ביותר שלה. הוא מגיע עם שיפורים ספציפיים בידע כללי, פתרון בעיות מתמטיות, הבנת מבני נתונים כמו טבלאות, וייצור פלט מובנה כולל JSON. המודל מסוגל לייצר רצף של מעל 8,000 טוקנים ומטפל בטקסטים ארוכים במיוחד, עד 131,072 טוקנים בהקשר.

למרות שהוא רשום בקטלוג תחת אנגלית, המפתחים מציינים תמיכה ביותר מ־29 שפות שונות, ביניהן ערבית, צרפתית, רוסית וגרמנית. עברית לא מוזכרת ברשימה הזו. ההבדל המרכזי בינו לבין גרסאות ה־Instruct הוא היעדר אימון שיחה. הוא מיועד להשלמת טקסט והמשך אימון, ולא לצ'אט ישיר מול משתמש קצה.

מתאים ל

  • בסיס לכוונון פנימי

    נקודת פתיחה חזקה לאימון מודל מותאם אישית באמצעות SFT על דאטה ארגוני.

  • ניתוח מסמכים ארוכים

    עיבוד קבצים וטבלאות גדולות בזכות תמיכה בחלון הקשר של עד 128K טוקנים.

  • חילוץ מידע למבנה JSON

    יצירת פלט מובנה מתוך טקסטים מורכבים בזכות יכולות משופרות בהבנת נתונים.

איפה זה נופל

היוצרים כותבים במפורש שהם לא ממליצים להשתמש במודל הזה לשיחות. זה מודל פרה-טריינינג, ולכן אם תתנו לו שאלה הוא עשוי להמשיך אותה בשאלות נוספות במקום לענות. מי שרוצה צ'אטבוט מוכן צריך לחפש את גרסת ההוראות, או לבצע כאן כוונון עדין מבוסס SFT או RLHF. בנוסף, עברית אינה חלק מרשימת השפות הנתמכות שצוינה.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

האם אפשר להשתמש בו ישירות בתור צ'אטבוט לשירות לקוחות?

לא מומלץ בכלל. מדובר במודל בסיס שלא עבר אימון להבנת הוראות או ניהול דיאלוג. אם תשאלו אותו משהו, הוא עלול להמציא המשך לטקסט במקום לענות לכם, ולכן לשימושי צ'אט תצטרכו לאמן אותו קודם או לקחת גרסת Instruct.

איזו גרסת תוכנה צריך כדי לטעון אותו?

אתם חייבים לעבוד עם ספריית transformers בגרסה 4.37.0 ומעלה. כל גרסה ישנה יותר תזרוק שגיאת KeyError על ארכיטקטורת qwen2 ותעצור את הטעינה.

איך מריצים

כדי להריץ אותו במשקל המקורי בפורמט bfloat16 תצטרכו להתמודד עם 135 גיגה-בייט של קבצים. זה אומר שאי אפשר להסתדר עם כרטיס בודד, ותצטרכו מערך של כמה מעבדים גרפיים חזקים כדי לטעון 80 שכבות וחלון של 128K טוקנים. אם אין לכם חומרה ייעודית כזו בענן או במשרד, עדיף להשתמש בפתרון מוכן דרך API.

מבחינת תוכנה, אתם צריכים גרסת transformers מעודכנת. גרסאות ישנות יותר מ־4.37.0 ייכשלו מיד עם שגיאת KeyError כי הן לא מכירות את ארכיטקטורת המודל.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-72B")
print(pipe("שלום"))

הקבצים

47 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר בתור other ולא כרישיון קוד פתוח סטנדרטי כמו Apache או MIT. זה אומר שחובה להיכנס למסמכי הרישיון הספציפיים של יוצרי המודל באתר או בגיטהאב שלהם כדי לראות מה מותר מסחרית, מה המגבלות על הפצה ומה התנאים להטמעה בתוך מוצר.

הרישיון המלא בעמוד המודל ↗