GPT
הוספת כלי
Y

Yi-1.5-6B-Chat

קוד פתוח

01-aiapache-2.02024-05-11

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסת שיחה קומפקטית שמתאימה להרצה מקומית על כרטיסי מסך צנועים. היא מציעה שדרוג בקוד, במתמטיקה ובמעקב אחר הוראות ביחס לגרסה הראשונה.

  • 6.1Bפרמטרים
  • 4,096טוקנים בהקשר
  • 11.3 GBמשקל הקבצים
  • 5,186הורדות בחודש

מה זה

מדובר במודל שיחה שנוצר מאימון המשך על 500 מיליארד טוקנים ואימון עדין על שלושה מיליון דוגמאות מגוונות, שמצטרפים לסך כולל של 3.6 טריליון טוקנים שעליהם אומנה הסדרה. הוא בנוי על ארכיטקטורת LlamaForCausalLM המוכרת, מה שאומר שהתמיכה בספריות קיימות כמו transformers מובנית וחלקה לחלוטין.

היוצרים מכוונים כאן לשיפור בביצועי קוד, פתרון בעיות מתמטיות, יכולות הסקה ומעקב אחר הוראות, בלי לאבד הבנת שפה כללית והבנת הנקרא. בכרטיס המודל אין פירוט של ציוני בדיקה ייעודיים לגרסת השישה מיליארד, אלא רק לאחיות הגדולות יותר בסדרה, כך שקשה לדעת בדיוק איך הוא מתפקד מול מתחרים באותו משקל בלי לבדוק בפועל.

מתאים ל

  • עוזר שיחה מקומי

    מתאים לבוט שרץ על מחשב יחיד עם דרישות זיכרון נמוכות ומגיב מהר.

  • מעקב אחר הוראות בקוד

    אימון ההמשך התמקד בקוד ובהוראות, מה שעוזר לו לתפקד במשימות תכנות קצרות.

  • פתרון בעיות מתמטיות

    המודל עבר התאמה לשיפור ההסקה והמתמטיקה, בתנאי שהשאלה וההקשר לא חורגים מ־4K טוקנים.

איפה זה נופל

המגבלה הכי בולטת היא חלון ההקשר. עם 4,096 טוקנים בלבד, לא תוכלו להזין מסמכים ארוכים, קובצי קוד גדולים או היסטוריית שיחה מתמשכת בלי לקטוע את הטקסט. מי שמחפש הקשר של 16 אלף טוקנים יצטרך לעבור לגרסאות הגדולות יותר בסדרה. בנוסף, חוסר הנתונים בכרטיס לגבי תוצאות המדידה של הגודל הזה מחייב אתכם לבדוק בעצמכם אם איכות הקוד והמתמטיקה מספקת את הצרכים שלכם.

אותה משפחה

Yi-1.5 יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Yi-1.5-9B-Chat16,113 Yi-1.5-34B-Chat15,503 Yi-1.5-9B13,978 Yi-1.5-9B-Chat-16K9,728 Yi-1.5-34B9,072 Yi-1.5-34B-32K8,570

שאלות
נפוצות

האם אפשר להשתמש בו עם מסמכים ארוכים?

לא. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, ואין לגרסה הזו וריאנט של 16K כמו בדגמים הגדולים יותר בסדרה. למסמכים ארוכים עדיף לחפש חלופות אחרות.

מה החומרה המינימלית להרצה?

בדיוק המקורי הקבצים שוקלים 11.3 גיגה, כך שמומלץ כרטיס מסך עם 16 גיגה זיכרון. אם תשתמשו בכימות של 4 ביט תוכלו לרדת בקלות מתחת ל־8 גיגה זיכרון.

איך מריצים

כדי להריץ אותו בפורמט bfloat16 המקורי תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון כדי להחזיק את הקבצים ששוקלים 11.3 גיגה ועוד קצת מקום להקשר. אם תמירו אותו לפורמט מכווץ תוכלו להריץ אותו בקלות גם על חומרה ביתית פשוטה בהרבה.

אם יש לכם צורך במענה מהיר למשתמשים רבים בלי לנהל תשתית, שירות חיצוני עם API יחסוך את כאב הראש. הרצה עצמית שווה את זה רק כשאתם חייבים שליטה מוחלטת במידע או פועלים בסביבה סגורה בלי רשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-1.5-6B-Chat")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 11.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שזה רישיון פתוח ומתירני לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗