GPT
הוספת כלי
Q

Qwen2-1.5B

קוד פתוח

Qwenapache-2.02024-05-31

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • pretrained

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס קטן של מיליארד וחצי פרמטרים עם חלון ענק של 131 אלף טוקנים. הוא מיועד למי שמחפש נקודת מוצא זולה לאימון עצמי במקום לקחת מודל ענק וכבד.

  • 1.5Bפרמטרים
  • 131,072טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 117,605הורדות בחודש

מה זה

מדובר במודל שפת בסיס מסדרת Qwen2 ששוקל 2.9 ג'יגה בייט בגרסת bfloat16. הוא מגיע עם ארכיטקטורת שנאי שכוללת SwiGLU, Group Query Attention וחלון הקשר גדול במיוחד של 131,072 טוקנים. הוא נבנה עבור משימות יצירת טקסט, קוד והבנה כללית.

במדדים שפורסמו הוא עוקף את הדור הקודם Qwen1.5-1.8B ואת Gemma-2B ברוב המבחנים, במיוחד במתמטיקה עם 58.5 ב־GSM8K לעומת 38.4 בקודמו, ובמבחני שפה כלליים כמו MMLU שבו קיבל 56.5. מול מודלים כמו Phi-2 הוא מציג יתרון מובהק במבחני מתמטיקה מתקדמים כמו MATH, אבל נופל ממנו בבירור במשימות תכנות ב־HumanEval ובמבחני היגיון כמו BBH ו־ARC-C.

מתאים ל

  • בסיס לכוונון עצמי

    משקל קל של 2.9 ג'יגה שמאפשר להריץ אימוני SFT או LoRA במהירות ובזול.

  • עיבוד טקסטים ארוכים

    חלון הקשר של 131 אלף טוקנים שמתאים למשימות הבנה על מסמכים גדולים.

  • הרצה מקומית על חומרה חלשה

    1.5 מיליארד פרמטרים שנכנסים בקלות לכרטיסי מסך בסיסיים בלי צורך בשרת יקר.

איפה זה נופל

זה מודל בסיס, והיוצרים שלו מציינים במפורש שהם לא ממליצים להשתמש בו ישירות ליצירת טקסט בלי שלב פוסט-אימון. בלי כוונון כמו SFT או RLHF הוא ימשיך טקסטים ולא יענה על הוראות בצורה שימושית. בנוסף, בביצועי קוד נטו הוא מקבל 31.1 ב־HumanEval, שזה נמוך משמעותית מ־MiniCPM או Phi-2. המידע הרשמי מציג שיוך שפה לאנגלית בלבד לצד מבחנים בסינית, כך שאין שום נתון רשמי על תמיכה בעברית.

אותה משפחה

Qwen2 יצא ב־13 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2-0.5B818,205 Qwen2-1.5B-Instruct707,528 Qwen2-7B-Instruct389,681 Qwen2-0.5B-Instruct263,591 Qwen2-7B238,016 Qwen2-72B-Instruct28,878 Qwen2-57B-A14B-Instruct12,530 Qwen2-72B10,852

שאלות
נפוצות

אפשר להשתמש בו ישירות כצ'אטבוט?

לא מומלץ. זה מודל בסיס שנועד להשלמת טקסט ולא למענה על שאלות או ניהול שיחה. כדי לקבל צ'אט עובד צריך לאמן אותו עם SFT או לקחת את גרסת ה־chat המוכנה.

איזה כרטיס מסך צריך בשביל להריץ אותו?

הקבצים שוקלים 2.9 ג'יגה בייט בפורמט bfloat16. כרטיס מסך עם 4 עד 6 ג'יגה זיכרון יריץ אותו בקלות בלי צורך בקוונטיזציה מיוחדת.

איך מריצים

אתם צריכים transformers בגרסה 4.37.0 ומעלה כדי שהספרייה תזהה את הארכיטקטורה ולא תזרוק שגיאת מפתח. עם משקל של פחות משלושה ג'יגה בייט אפשר להעלות אותו כמעט על כל כרטיס מסך בסיסי עם 4 עד 6 ג'יגה זיכרון, וגם על מעבד רגיל במחשב פיתוח.

ההבדל העיקרי כאן הוא שזה מודל בסיס ולא גרסת chat או Instruct. אם המטרה היא לקבל תשובות מוכנות למשתמשים בצ'אט בלי להשקיע בכוונון, עדיף להשתמש בגרסת ה־chat המיושרת או לפנות ל־API חיצוני שחוסך את כל תהליך האימון הנוסף.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2-1.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0. זה רישיון קוד פתוח מתירני שמאפשר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים חדשים ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗