GPT
הוספת כלי
Y

Yi-1.5-34B

קוד פתוח

01-aiapache-2.02024-05-11

  • transformers
  • safetensors
  • llama
  • text-generation
  • text-generation-inference

גרסת בסיס של 34 מיליארד פרמטרים שמתאימה למי שרוצה לאמן או לכוונן מודל עצמאית. מציעה יכולות חזקות בקוד, מתמטיקה והבנת שפה עם רישיון פתוח לחלוטין.

  • 34Bפרמטרים
  • 4,096טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 9,072הורדות בחודש

מה זה

מדובר במודל בסיס שאומן מחדש על גבי סדרת Yi המקורית, עם תוספת של 500 מיליארד טוקנים שהביאו אותו לסך של 3.6 טריליון טוקנים. הוא מבוסס על ארכיטקטורת Llama וכולל 60 שכבות בדיוק של bfloat16. לפי המפתחים, הגרסה הזו משפרת בעיקר חשיבה לוגית, פתרון בעיות במתמטיקה וכתיבת קוד בהשוואה לדור הקודם, לצד יכולות הבנת הנקרא וידע כללי.

בניגוד לגרסאות הצ'אט של אותה סדרה, המודל הזה מגיע כמודל שפה גולמי להשלמת טקסט, ללא הנחיות שיחה מובנות. הוא מיועד לשמש תשתית לעבודה מתקדמת יותר, ומציג ביצועים שמתחרים במודלים גדולים ממנו במבחנים מסוימים לפי הנתונים שפורסמו.

מתאים ל

  • אימון מודל ייעודי

    נקודת מוצא מעולה לכוונון עדין על דאטה פנימי של החברה, בזכות יכולות החשיבה והקוד החזקות שלו.

  • השלמת קוד מותאמת

    משמש כתשתית לכלים פנימיים לכתיבת קוד ופתרון בעיות טכניות, לאחר התאמה לשפת הפיתוח שלכם.

  • מחקר ועיבוד שפה

    מתאים לחוקרים שרוצים לבחון מודל בגודל 34B עם ארכיטקטורה מוכרת ורישיון חופשי לחלוטין.

איפה זה נופל

זהו מודל בסיס ולא מודל צ'אט, מה שאומר שהוא פשוט ימשיך את הטקסט שתתנו לו במקום לענות לשאלות, אלא אם תבצעו לו כוונון עדין או prompting קפדני מאוד. בנוסף, חלון ההקשר שלו מוגבל ל־4,096 טוקנים בלבד, שזה מעט מאוד למשימות מודרניות של ניתוח קבצים ארוכים או קוד מורכב.

כרטיס המודל לא מפרט תמיכה בשפות שאינן אנגלית וסינית, כך שביצועים בעברית אינם מובטחים ודורשים בדיקה זהירה לפני כל שימוש.

אותה משפחה

Yi-1.5 יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Yi-1.5-9B-Chat16,113 Yi-1.5-34B-Chat15,503 Yi-1.5-9B13,978 Yi-1.5-9B-Chat-16K9,728 Yi-1.5-34B-32K8,570 Yi-1.5-6B-Chat5,186

שאלות
נפוצות

האם המודל מוכן לשימוש כבוט שיחה מיד לאחר ההורדה?

לא. מדובר במודל בסיס להשלמת טקסט, ולא במודל צ'אט שעבר כוונון לפי הנחיות. אם אתם מחפשים בוט שיחה שמוכן לעבודה, עדיף להוריד את גרסת ה־Chat של אותה סדרה.

כמה זיכרון כרטיס מסך נדרש כדי להריץ אותו?

המשקלים עצמם שוקלים מעל 64 גיגה בייט בפורמט המקורי. להרצה חלקה ב־bfloat16 תצטרכו לפחות 80 גיגה בייט של זיכרון גרפי, למשל כרטיס A100 יחיד או שילוב של כרטיסים קטנים יותר.

האם המודל מתאים לניתוח מסמכים ארוכים?

לא בגרסה הזו. המודל מוגבל לחלון הקשר של 4,096 טוקנים בלבד. לעבודה עם מסמכים ארוכים עדיף לבחור בגרסת ה־32K של המודל.

איך מריצים

כדי להריץ אותו מקומית בדיוק המקורי שלו צריך שרת רציני. 64.1 גיגה בייט של משקלים בפורמט bfloat16 דורשים לפחות שני כרטיסי מסך של 48 גיגה בייט כמו A6000, או כרטיס A100 של 80 גיגה בייט רק כדי לטעון אותו לזיכרון לפני שמחשבים טוקן בודד.

אם אין לכם תשתית ענן ייעודית או חומרה כבדה במשרד, עדיף להשתמש בגרסאות מכווצות או לפנות ל־API חיצוני. הגרסה הספציפית הזו מגיעה עם חלון הקשר קצר יחסית, כך שאם אתם צריכים לנתח מסמכים ארוכים יותר, כדאי לבדוק את גרסת ה־32K שקיימת באותה סדרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-1.5-34B")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר ברישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי הקוד והמשקלים, והפצה מחדש במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗