Qwen2.5-3B
קוד פתוחQwenother2024-09-15
יש כאן גם סקירה על Qwen עצמו.
שלושה מיליארד פרמטרים שמיועדים לשמש כבסיס לאימון עצמאי, עם זיכרון עבודה רחב במיוחד לגודל שלו. פתרון קל משקל למי שרוצה לבנות מודל ייעודי משלו.
- 3.1Bפרמטרים
- 32,768טוקנים בהקשר
- 5.8 GBמשקל הקבצים
- 316,766הורדות בחודש
מה זה
מדובר במודל בסיס שסיים שלב אימון מקדים בלבד, ללא התאמה לשיחות או לפקודות ישירות. המשפחה שלו מציגה שיפורים בידע כללי, קוד, מתמטיקה, הבנה של מידע מובנה כמו טבלאות ויצירת פלטים במבנה של קובצי JSON. הוא מגיע עם תמיכה ביותר מ־29 שפות שונות, אך הוא אינו מיועד לפטפוט מהקופסה.
הייחוד המשמעותי כאן הוא השילוב בין גודל פיזי זעיר ליכולת לטפל בהקשר של 32,768 טוקנים באופן מלא, עם אפשרות ליצור רצפים ארוכים. המבנה הפנימי שלו כולל 36 שכבות ומנגנון קשב שמייעל את צריכת המשאבים, מה שמאפשר לו להחזיק טקסטים ארוכים בלי להתפרק במקום שבו מודלים קטנים אחרים נחנקים.
מתאים ל
- בסיס לאימון מכוון
נקודת פתיחה קלה ומהירה לכוונון עדין על דאטה פנימי של ארגון או משימות סיווג ייחודיות.
- חילוץ מידע מטבלאות
עיבוד והבנה של מבני נתונים וטבלאות בתוך מסמכים ארוכים והמרתם לפורמטים מוגדרים.
- יצירת מבני JSON
התמחות ביצירת פלט מובנה ותחבירי במערכות אוטומציה שדורשות משקל זיכרון נמוך.
איפה זה נופל
זהו מודל בסיס, והיוצרים שלו מבהירים מפורשות שהוא לא מתאים לשיחות. אם תתנו לו שאלה, הוא ינסה להמשיך את הטקסט ולא בהכרח יענה לכם לעניין. בנוסף, למרות התמיכה המוצהרת בשפות רבות, עברית לא מוזכרת ספציפית ברשימת השפות המרכזיות, כך שחובה לבדוק את איכות הפלט וההבנה שלה לפני שמתכננים עליו לעבודה מקומית.
אותה משפחה
Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.
שאלות
נפוצות
האם אפשר להשתמש בו ישירות כבוט לצ'אט?
לא מומלץ בכלל. זהו מודל בסיס שמשלים טקסטים ולא עבר כוונון להוראות, ולכן הוא לא יתנהג כמו עוזר אישי. בשביל שיחות צריך גרסה שעברה תהליך SFT או RLHF.
איזו חומרה מינימלית נדרשת להרצה שלו?
מאחר שהקבצים שוקלים 5.8 גיגה בייט בפורמט המקורי, כרטיס מסך מודרני עם 8 עד 12 גיגה בייט של זיכרון יספיק לחלוטין לטעינה ולהסקה. מדובר במודל שרץ בלי בעיה על מחשבים אישיים חזקים.
איך הוא מתמודד עם טקסטים ארוכים?
הוא תומך בחלון הקשר מלא של 32,768 טוקנים ויודע לייצר פלטים ארוכים. המבנה הפנימי שלו מותאם לשמירה על יעילות חישובית גם בעבודה מול קבצים ומסמכים גדולים.
איך מריצים
המשקל הכולל של הקבצים עומד על 5.8 גיגה בייט בדיוק bfloat16, כך שאפשר להריץ אותו בקלות על כרטיס מסך ביתי בודד עם זיכרון צנוע, בלי צורך במערכי שרתים מורכבים. כדי לטעון אותו צריך גרסה עדכנית של ספריית transformers, שכן גרסאות ישנות מ־4.37.0 נכשלות בזיהוי הארכיטקטורה וזורקות שגיאה.
אם אתם מחפשים מענה מיידי לשאלות משתמשים בצ'אט, חבל להרים את המשקולת הזו בעצמכם. במקרה כזה עדיף לפנות למודל שכבר עבר התאמת הוראות דרך API קיים, במקום לבזבז זמן ומשאבי חישוב על הרצה של מודל גולמי.
pip install -U huggingface_hub hf download Qwen/Qwen2.5-3B
הקבצים
12 קבצים במאגר, 5.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־other, כלומר רישיון מותאם אישית שאינו קוד פתוח סטנדרטי דוגמת MIT או אפאצ'י. לפני שמשלבים אותו במוצר מסחרי או מפיצים אותו למשתמשי קצה, חובה לקרוא את תנאי השימוש המדויקים במסמכי הפרויקט כדי לוודא שאין הגבלות שימוש מסחריות או דרישות ספציפיות.