GPT
הוספת כלי
Q

Qwen2.5-1.5B

קוד פתוח

Qwenapache-2.02024-09-15

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס קומפקטית ששוקלת פחות משלושה גיגהבייט ומתאימה לאימון המשך או התאמה אישית. היא מיועדת למי שרוצה לבנות מודל ייעודי קל משקל בלי להתחיל מאפס.

  • 1.5Bפרמטרים
  • 131,072טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 1,063,114הורדות בחודש

מה זה

המודל הזה הוא גרסת בסיס נטו, מה שאומר שהוא עבר שלב אימון מקדים בלבד ולא כוונון להוראות. לפי המפתחים, סדרת המודלים הזו כוללת שיפורים בידע כללי, קוד ומתמטיקה בהשוואה לדור הקודם, לצד יכולת טובה יותר בהבנת נתונים מובנים כמו טבלאות ויצירת פלט מובנה. למרות הגודל הזעיר, הוא תומך בהקשר ארוך ומיועד להתמודד עם מעל עשרים ותשע שפות שונות, כולל ערבית, אנגלית ורוסית.

ההבדל העיקרי בינו לבין מודלים אחרים במשקל כזה הוא העומק של הארכיטקטורה ויכולת ההתמודדות עם טקסט ארוך. עם זאת, בגלל שמדובר במודל בסיס ולא במודל שיחה, הוא נוטה להשלים טקסטים ולא לענות לשאלות ישירות. אם אתם מחפשים משהו שפשוט יעבוד בתור צ'אט בוט מהקופסה, הגרסה הזו לא מתאימה לכם בלי עבודת כוונון נוספת.

מתאים ל

  • בסיס לאימון ייעודי

    משקל נמוך שמאפשר להריץ fine-tuning זול ומהיר על דאטה עסקי ספציפי בחומרה פשוטה.

  • חילוץ מידע מטקסט ארוך

    תמיכה בחלון הקשר נרחב לצורך סריקה והשלמת נתונים ממסמכים כבדים בלי לחנוק את הזיכרון.

  • עיבוד נתונים מקומי

    מתאים למערכות קצה שדורשות פרטיות מוחלטת ויכולות לרוץ על כרטיס מסך בסיסי או מחשב מקומי.

איפה זה נופל

המפתחים מבהירים במפורש שהם לא ממליצים להשתמש בו לשיחות. בלי אימון ייעודי הוא פשוט ימשיך את המשפט שלכם במקום לענות. בנוסף, למרות שהסדרה תומכת בריבוי שפות, עברית לא מוזכרת ברשימת השפות הנתמכות המרכזיות, כך שחובה לבדוק איך הוא מגיב לטקסט עברי לפני שבונים עליו. במודל קטן כזה, משימות מורכבות של לוגיקה או קוד עדיין ייכשלו לעיתים קרובות.

אותה משפחה

Qwen2.5 יצא ב־29 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-7B-Instruct10,440,548 Qwen2.5-1.5B-Instruct7,326,700 Qwen2.5-0.5B-Instruct6,428,381 Qwen2.5-3B-Instruct5,973,026 Qwen2.5-7B-Instruct-AWQ3,593,565 Qwen2.5-14B-Instruct2,709,565 Qwen2.5-32B-Instruct2,181,370 Qwen2.5-14B-Instruct-AWQ2,136,387

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר אישי או צ'אט?

לא מומלץ. זהו מודל בסיס שמיועד להשלמת טקסט, ולכן הוא לא עבר אופטימיזציה לשיחה או למענה על שאלות. לשימושי צ'אט כדאי לקחת את גרסת ה־Instruct של אותה סדרה.

איזו חומרה מינימלית נדרשת להרצה?

המודל שוקל 2.9 גיגהבייט, כך שכרטיס מסך עם ארבעה עד שישה גיגהבייט זיכרון יריץ אותו בקלות. במידת הצורך אפשר להריץ אותו גם על גבי זיכרון ה־RAM של המחשב.

האם הוא מתאים לעבודה בעברית?

עברית אינה מופיעה ברשימת השפות העיקריות שהמפתחים בדקו וציינו בכרטיס המודל. מומלץ להריץ בדיקה מקומית על טקסט עברי כדי לוודא רמת פענוח ופלט לפני שמתחילים לאמן אותו.

איך מריצים

במשקל של 2.9 גיגהבייט בדיוק של bfloat16, אפשר להריץ אותו כמעט על כל כרטיס מסך ביתי מודרני, ואפילו על מעבדים רגילים או מכשירים ניידים אם מבצעים קוונטיזציה. כל מה שצריך זה ספריית transformers מעודכנת מגרסה 4.37.0 ומעלה כדי לא להיתקל בשגיאות טעינה.

אם אתם צריכים רק מענה גנרי מהיר בשיחה, עדיף לפנות לגרסת ה־Instruct שלו או ל־API חיצוני מוכן. להריץ אותו מקומית שווה בעיקר כשרוצים לאמן עליו שכבות LoRA, לבצע fine-tuning על דאטה פנימי, או כשחייבים פרטיות מלאה בלי להוציא מידע לרשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-1.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המשקלים, שילוב במוצרים סגורים והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗