Qwen2-0.5B-Instruct
קוד פתוחQwenapache-2.02024-06-03
יש כאן גם סקירה על Qwen עצמו.
גרסת הוראות זעירה שמיועדת לרוץ מקומית בלי חומרה כבדה. היא נכנסת כמעט לכל מעבד ועדיין מציעה חלון הקשר ארוך במיוחד לגודל שלה.
- 494Mפרמטרים
- 32,768טוקנים בהקשר
- 953 MBמשקל הקבצים
- 263,591הורדות בחודש
מה זה
מדובר במודל שפה קטן של פחות מחצי מיליארד פרמטרים שעבר התאמה להוראות ושיחה באמצעות כוונון מונחה ויישור העדפות ישיר. למרות הממדים הצנועים, הכניסו פה ארכיטקטורה מודרנית עם מנגנון קשב מקובץ ושיפורים שאמורים לעזור לקוד ולשפות שונות. המטרה המרכזית שלו היא לספק יכולת בסיסית של הבנה ויצירת טקסט בלי לגרור שרתי ענק.
המספרים מהמבחנים מראים קפיצה ברורה ביחס לדור הקודם באותו הגודל, בעיקר במתמטיקה עם זינוק מ־11.3 ל־40.1 ב־GSM8K וכמעט הכפלה בבדיקת יצירת הקוד של HumanEval ל־17.1. זה לא הופך אותו למתכנת אוטונומי, אבל זה אומר שהוא מבין תחביר ומבנה פשוט הרבה יותר טוב ממה שהתרגלנו לראות בכלים במשקל נוצה כזה.
מתאים ל
- מיון וסיווג טקסט מקומי
הוא שוקל פחות מג'יגה, נטען בשניות ומספיק חד כדי לחלק טקסטים קצרים לקטגוריות.
- עיבוד על מכשירי קצה
מתאים לטלפונים או למערכות קטנות שצריכות ניתוח שפה פשוט בלי תלות ברשת.
- חילוץ מידע בסיסי
חלון הקשר גדול מאפשר לו לעבור על קטעי תוכן ארוכים ולשלוף נתונים פשוטים.
איפה זה נופל
עם ציון של 17.1 בלבד ב־HumanEval ו־37.9 ב־MMLU, המודל הזה ייכשל במשימות מורכבות, בלוגיקה סבוכה או בכתיבת קוד מלא. גם ציון של 20 בלבד במעקב קפדני אחרי הנחיות מראה שהוא יתקשה לדייק בפורמטים נוקשים. בנוסף, המודל מוגדר רשמית לאנגלית בלבד, כך שבלי לבדוק אותו אי אפשר להסתמך עליו בעברית.
אותה משפחה
Qwen2 יצא ב־13 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.
שאלות
נפוצות
האם הוא יעבוד טוב בעברית?
הכרטיס מצהיר על תמיכה באנגלית בלבד. למרות שמנגנון הטוקנים מותאם לשפות מרובות, במודל של 494 מיליון פרמטרים היכולת בעברית תהיה מוגבלת מאוד ועדיף לבדוק אותו היטב לפני כל שימוש.
האם אפשר לסמוך עליו לכתיבת קוד?
לא מעבר לקטעים טריוויאליים או תיקוני תחביר קלים. תוצאה של 17.1 אחוז ב־HumanEval מראה שהוא מייצר שגיאות בקלות, ולכן הוא לא מתאים לפיתוח רציני.
איך מריצים
כדי להריץ אותו צריך בסך הכול ספריית transformers בגרסה 4.37.0 ומעלה כדי לא להיתקל בשגיאות זיהוי. המשקל הכולל של הקבצים יושב על פחות מג'יגה בייט בודד ב־bfloat16, כך שאין שום צורך בכרטיס מסך ייעודי, הוא ירוץ בלי בעיה על מעבד של מחשב נייד סטנדרטי או טלפון חכם.
הוא מתאים במיוחד לפיתוח מקומי או למכשירים מנותקי רשת. אם אתם צריכים תשובות עמוקות למשימות כבדות, אין טעם להתעקש להריץ אותו לבד ועדיף לפנות למודלים הגדולים יותר דרך API.
from transformers import pipeline
pipe = pipeline("text-generation", model="Qwen/Qwen2-0.5B-Instruct")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ ברישיון apache-2.0 חופשי לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להפיץ אותו ולהטמיע אותו בתוך מערכות סגורות בלי לשלם תמלוגים, כל עוד שומרים על תנאי הקרדיט וההודעה המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים