GPT
הוספת כלי
Q

Qwen2.5-0.5B-Instruct

קוד פתוח

Qwenapache-2.02024-09-16

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

יש כאן גם סקירה על Qwen עצמו.

מודל הוראות קטן במיוחד שתופס פחות מג'יגה בייט בזיכרון ומיועד למשימות נקודתיות על חומרה חלשה. הוא עוקב אחרי הוראות, מייצר JSON ותומך בהקשר ארוך בלי לדרוש שרת ייעודי.

  • 494Mפרמטרים
  • 32,768טוקנים בהקשר
  • 953 MBמשקל הקבצים
  • 6,428,381הורדות בחודש

מה זה

מדובר בגרסת ההוראות הקטנה ביותר בסדרת Qwen2.5, עם כחצי מיליארד פרמטרים בלבד. היוצרים כיוונו אותו לעבודה ישירה מול פרומפטים מובנים, הפקת פלט בפורמט JSON, הבנת טבלאות והתמודדות עם קוד ומתמטיקה ברמה בסיסית יחסית לגודלו. בניגוד למודלים זעירים מהדורות הקודמים, הוא מסוגל לקרוא קלט באורך של עד 32,768 טוקנים ולייצר עד 8,192 טוקנים ברצף.

הוא מציע תמיכה רחבה בלמעלה מ־29 שפות, ביניהן אנגלית, ערבית, ספרדית ורוסית, אם כי עברית לא מוזכרת ברשימה הרשמית שלו. הגודל המזערי שלו הופך אותו לפתרון מעניין בעיקר למי שחייב להריץ מודל מקומית בתוך אפליקציה, על מכשירי קצה או כחלק מתהליך עיבוד מקדים שלא מצדיק שליחת נתונים החוצה.

מתאים ל

  • חילוץ מידע למבנה JSON

    הוא אומן להוציא פלט מובנה ומתאים לעיבוד טקסטים קצרים ושליפת שדות ישירות לתוך קוד.

  • סיווג טקסט מקומי

    הגודל הזעיר מאפשר למיין פניות, לזהות כוונות ולסנן מידע על חומרת מעבד פשוטה בלי לפנות לשרת חיצוני.

  • עבודה על מכשירי קצה

    עם צריכת זיכרון מינימלית של פחות מג'יגה, הוא מתאים להרצה באפליקציות מובייל ומכשירים מנותקי רשת.

איפה זה נופל

חצי מיליארד פרמטרים זה מעט מאוד כוח חישוב. המודל יתקשה מאוד עם היגיון מורכב, פתרון בעיות מסובכות או ידע כללי מעמיק, והוא נוטה להזיות כשהמשימה דורשת זיכרון עובדתי רחב. נוסף על כך, עברית אינה מוגדרת ברשימת השפות הנתמכות שלו, מה שאומר שהבנת השפה ותחביר הפלט בעברית עלולים להיות שבורים או לא עקביים.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387 Qwen2.5-0.5B1,691,482

שאלות
נפוצות

האם המודל יודע לעבוד בעברית בצורה אמינה?

החומר הרשמי מפרט מעל 29 שפות נתמכות, אך עברית אינה אחת מהן. הוא עשוי לקלוט מילים בודדות, אך הסיכוי לפלט תקין ורציף בעברית נמוך מאוד, כך שלא כדאי לבנות עליו למשימות בשפה זו.

למה להשתמש בו במקום לפנות למודל גדול יותר בענן?

היתרון המרכזי שלו הוא עלות אפסית, פרטיות מלאה ואפשרות לעבוד ללא חיבור לאינטרנט. למשימות נקודתיות ופשוטות כמו מיון או חילוץ נתונים, הוא חוסך תשלום על טוקנים ומגיב מהר.

איך מריצים

במשקל כולל של כ־953 מגה בייט, אפשר להריץ אותו כמעט על כל מעבד מודרני, טלפון או מחשב נייד ישן בלי להחזיק כרטיס מסך ייעודי. כדי לטעון אותו בספריית transformers צריך גרסה 4.37.0 ומעלה, אחרת נתקלים בשגיאת ארכיטקטורה מוכרת.

אם אתם צריכים רק מדי פעם לענות על שאלה מורכבת או לנתח טקסט עמוק, אין שום סיבה להחזיק אותו מקומית ועדיף לפנות ל־API חיצוני של מודל גדול בהרבה. הריצה המקומית שלו משתלמת רק כשחייבים פרטיות מלאה, אפס עלויות קריאה, או זמני תגובה מהירים מאוד בלי תלות ברשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות משוחררים תחת רישיון apache-2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי לחלוטין, שינוי של המודל, הפצה מחדש והטמעה במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗