GPT
הוספת כלי
Q

Qwen2.5-0.5B

קוד פתוח

Qwenapache-2.02024-09-15

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס זעירה ששוקלת פחות מג'יגה, עם חלון הקשר של 32K טוקנים. היא מיועדת למי שמחפש נקודת מוצא זולה לאימון עצמי במקום לבזבז משאבים על מודלי ענק.

  • 494Mפרמטרים
  • 32,768טוקנים בהקשר
  • 953 MBמשקל הקבצים
  • 1,691,482הורדות בחודש

מה זה

מדובר במודל הבסיס הקטן ביותר בסדרת Qwen2.5, עם פחות מחצי מיליארד פרמטרים. הוא מגיע מאומן מראש בלבד, ללא שלב של התאמה להוראות או שיחה, מה שאומר שהוא פשוט מנחש את רצף הטקסט הבא ולא יודע לענות לשאלות ישירות מהקופסה. הסדרה עצמה כוללת שיפורים כלליים בידע, בקוד, בהבנת מידע מובנה כמו טבלאות ובמגוון שפות, אבל כאן מקבלים את גרסת השלד הנקייה ביותר.

היתרון המרכזי שלו מול דגמים זעירים אחרים הוא חלון הקשר מלא של 32,768 טוקנים וארכיטקטורה מודרנית עם מנגנון קשב מקובץ. בזכות הגודל שלו הוא עולה מהר מאוד לזיכרון ורץ כמעט בלי לאכול משאבים. זה לא תחליף למודלים הגדולים בניתוח מורכב, אבל הוא מספק בסיס חזק שמשלב ידע רחב יחסית עם דרישות מינימליות מהחומרה.

מתאים ל

  • אימון ייעודי למשימה בודדת

    משמש בסיס מעולה לכוונון עדין על דאטה פנימי למשימות כמו סיווג, חילוץ ישויות או ניתוח טקסט קצר.

  • ריצה במכשירי קצה חלשים

    שוקל פחות מג'יגה בייט ומתאים לסביבות מנותקות רשת עם מעבד פשוט וללא כרטיס מסך ייעודי.

  • ניסויי למידה ומחקר

    מאפשר לבדוק תהליכי אימון מהירים בבית בלי לשרוף תקציבי ענן גדולים על מודלי ענק.

איפה זה נופל

זה מודל בסיס, והיוצרים שלו מבהירים במפורש שהוא לא מיועד לשיחות. אם תשלחו לו שאלה, הוא ימשיך את המשפט במקום לענות עליו. בנוסף, חצי מיליארד פרמטרים זה נפח קטן מאוד, כך שהיכולת שלו לפתור בעיות מורכבות, לנמק בצורה מדויקת או לייצר קוד מורכב מוגבלת מאוד בהשוואה לאחים הגדולים שלו בסדרה.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

אפשר להשתמש בו ישירות בתור צ'אטבוט?

לא. מדובר במודל בסיס שלא עבר כוונון לשיחות, ולכן הוא לא יודע להגיב להוראות אלא רק להשלים טקסט. בשביל צ'אט צריך להשתמש בגרסת ה־Instruct או לאמן אותו בעצמכם.

האם הוא תומך בעברית?

הכרטיס מציין תמיכה בלמעלה מ־29 שפות אך מפרט רק חלק מהן, ביניהן אנגלית, ערבית, צרפתית וספרדית. עברית לא מוזכרת במפורש ברשימה, ולכן חובה לבדוק את איכות הטקסט לפני שמסתמכים עליו לשפה הזו.

איך מריצים

בגלל שמשקל הקבצים הוא 953 מגה בייט בלבד, אפשר להריץ אותו ישירות בספריית transformers כמעט על כל מעבד רגיל, לפטופ פשוט או כרטיס מסך ביתי ישן בלי לחשוב פעמיים על זיכרון וידאו. רק שימו לב שחייבים גרסה 4.37.0 ומעלה של הספרייה, אחרת תקבלו שגיאה על מזהה המודל.

אם כל מה שאתם צריכים זה שירות שיחה שעונה למשתמשים, אל תריצו את הגרסה הזו בכלל. עדיף לפנות למודל שעבר כוונון להוראות או לשלם סנטים בודדים ל־API חיצוני, כי המודל הזה לא מיועד לייצור בלי שתאמנו אותו קודם בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו גרסאות חדשות ולהפיץ אותו כחלק ממוצר סגור, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗