GPT
הוספת כלי
Q

Qwen2.5-1.5B-Instruct

קוד פתוח

Qwenapache-2.02024-09-17

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

יש כאן גם סקירה על Qwen עצמו.

מודל קומפקטי שמכוון להוראות ומציע יכולות קוד, מבנה נתונים וחלון הקשר מכובד בגודל קטן. הוא מתאים למי שחייב להריץ מודל מקומית על משאבים צנועים בלי לשלם על שרתים כבדים.

  • 1.5Bפרמטרים
  • 32,768טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 7,326,700הורדות בחודש

מה זה

מדובר במודל שנוצר כדי לדחוס יכולות מודרניות לגודל זעיר של 1.54 מיליארד פרמטרים. לפי היוצרים שלו, הדור הזה מביא שיפור משמעותי במעקב אחרי הוראות, יצירת טקסטים ארוכים עד 8,000 טוקנים, והבנה של נתונים מובנים כמו טבלאות. דגש מרכזי הושם גם על חילוץ פלט מובנה, בייחוד JSON, ועל עמידות להנחיות מערכת מורכבות שמגדירות אופי לשיחה.

היתרון מול מודלים קטנים ישנים הוא ההתמחות בקוד, מתמטיקה וריבוי שפות, עם תמיכה ביותר מ־29 שפות שונות. חלון ההקשר המלא של המודל הספציפי הזה מגיע ל־32,768 טוקנים, מה שמאפשר להזין לו מסמכים שלמים או היסטוריית שיחה ארוכה בלי לקטום אותה מיד, תכונה שלא הייתה נפוצה בגדלים האלה בעבר.

מתאים ל

  • חילוץ JSON מטקסט

    הוא אומן במיוחד לפלוט מבנים מוגדרים ויכול לשבת ישירות על שרת פנימי קטן בלי לייצר עלויות ענן.

  • בוטים פשוטים להגדרת תפקיד

    העמידות הגבוהה שלו לפרומפטים מורכבים מאפשרת להריץ שיחות בסיסיות מונחות הקשר על חומרה זולה.

  • עיבוד מקומי של מסמכים

    חלון הקשר של כ־32 אלף טוקנים מאפשר להזין טקסטים ארוכים לעיבוד פנימי ישירות על המחשב.

איפה זה נופל

למרות כל השיפורים בקוד ובמתמטיקה, מודל של 1.5 מיליארד פרמטרים עדיין מוגבל מאוד ביכולת החשיבה העמוקה שלו. הוא נוטה להזיות בהסברים מורכבים ומתקשה לשמור על דיוק לוגי לאורך זמן. בנוסף, אף שהסדרה תומכת בריבוי שפות, הדף הרשמי מציין אנגלית ברשימת השפות הראשית, ועברית כלל אינה מוזכרת ברשימת השפות שנתמכות רשמית. חובה לבדוק את איכות הפלט בעברית לפני שמסתמכים עליו.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387 Qwen2.5-0.5B1,691,482

שאלות
נפוצות

האם אפשר להריץ אותו על מעבד רגיל בלי מעבד גרפי?

כן, המשקל הכולל של המודל הוא פחות מ־3 גיגה-בייט, כך שהוא נכנס בקלות לזיכרון ה־RAM של מחשב רגיל. קצב יצירת הטוקנים אולי יהיה איטי יותר מאשר על כרטיס מסך, אבל לשימושים אישיים או בדיקות זה בהחלט יעבוד.

למה מופיעה לי שגיאת KeyError בעת הטעינה?

השגיאה הזו מתרחשת אם גרסת transformers בסביבה שלכם ישנה מ־4.37.0. עדכון מהיר של הספרייה יפתור את הבעיה מיד ויאפשר לזהות את הארכיטקטורה של המודל.

איך מריצים

במשקל קבצים של 2.9 גיגה-בייט בדיוק bfloat16, כמעט כל כרטיס מסך בסיסי או מחשב נייד מודרני יכולים להחזיק אותו בזיכרון בלי שום בעיה. ההרצה נעשית ישירות דרך ספריית transformers, בתנאי שמשתמשים בגרסה 4.37.0 ומעלה כדי שהארכיטקטורה תזוהה בצורה תקינה.

אם אתם צריכים רק מענה מהיר פה ושם למשימות רקע פשוטות, להרים אותו עצמאית זה מהלך חסכוני וטריוויאלי. לעומת זאת, אם אתם בונים שירות שדורש הסקת מסקנות עמוקה או לוגיקה סבוכה מאוד, חבל על הזמן של ההרצה העצמית ועדיף לגשת ישירות למודלים הגדולים בסדרה דרך API.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-1.5B-Instruct")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שזה בדיוק מה שרוצים לראות בפרויקט מסחרי. מותר לקחת את המשקולות, לשלב אותן במוצר מסחרי סגור, לשנות את הקוד ולהפיץ אותו חופשי, בלי צורך לחשוף קוד מקור ובתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗