GPT
הוספת כלי
Y

Yi-1.5-34B-32K

קוד פתוח

01-aiapache-2.02024-05-15

  • transformers
  • safetensors
  • llama
  • text-generation
  • text-generation-inference

גרסת בסיס חזקה בגודל ביניים שמגיעה עם חלון של שלושים ושניים אלף טוקנים. מתאימה למי שרוצה לאמן מודל משלו על מסמכים ארוכים.

  • 34Bפרמטרים
  • 32,768טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 8,570הורדות בחודש

מה זה

מדובר במודל בסיס בגודל של שלושים וארבעה מיליארד פרמטרים, שנשען על ארכיטקטורת ליאמה. הצוות בנה אותו כהמשך אימון ישיר על גבי הדור הראשון, עם תוספת של חמש מאות מיליארד טוקנים חדשים, מה שמביא את כלל המידע שהוא ראה לכשלושה נקודה שישה טריליון טוקנים. ההבדל המרכזי מגרסאות בסיס אחרות בסדרה הוא התמיכה המובנית בהקשר של שלושים ושניים אלף טוקנים ללא צורך בהרחבות חיצוניות.

לפי היצרן, סדרת הגרסאות הזו מציגה שיפור בקוד, במתמטיקה ובהבנת הנחיות מורכבות בהשוואה לדור הקודם, לצד שמירה על יכולות קריאה והיגיון בסיסי. חשוב לזכור שזהו מודל בסיס ולא גרסת צ'אט, כך שהוא מיועד להשלמת טקסט או כבסיס להתאמה אישית, ולא לשיחה ישירה עם משתמשי קצה.

מתאים ל

  • אימון מודל מותאם אישית

    נקודת מוצא מצוינת לכוונון עצמאי למי שצריך מודל חזק בגודל ביניים ומעדיף לא להתחיל מאפס.

  • עיבוד והשלמת מסמכים ארוכים

    חלון של שלושים ושניים אלף טוקנים מאפשר להזין תיעוד טכני נרחב או קוד שלם ולייצר השלמות מדויקות.

  • חילוץ מידע מדוחות

    מבנה השכבות וההקשר הארוך מתאימים לניתוח טקסטואלי מורכב מתוך קבצים גדולים בלי צורך בחיתוך אגרסיבי.

איפה זה נופל

זהו מודל בסיס נקי שלא עבר כוונון לשיחות או התאמה להוראות מפורשות, ולכן שליחה של שאלות ישירות אליו תחזיר בדרך כלל המשך של המשפט ולא תשובה עניינית. מעבר לכך, הכרטיס המקורי לא מציג נתוני בדיקה ייעודיים לגרסת ההקשר הארוך הזו, מה שמחייב אתכם לבדוק בעצמכם איך הוא שומר על דיוק ושליפת פרטים בקצוות של שלושים ושניים אלף הטוקנים.

אותה משפחה

Yi-1.5 יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Yi-1.5-9B-Chat16,113 Yi-1.5-34B-Chat15,503 Yi-1.5-9B13,978 Yi-1.5-9B-Chat-16K9,728 Yi-1.5-34B9,072 Yi-1.5-6B-Chat5,186

שאלות
נפוצות

האם המודל מוכן לשיחה מול לקוחות?

לא. זו גרסת בסיס שמיועדת להשלמת טקסט ולא עברה אימון שיחה. אם מחפשים מודל לתשובות ישירות, עדיף להוריד את גרסת הצ'אט של הסדרה.

כמה זיכרון דרוש כדי לנצל את כל חלון ההקשר?

המשקלים עצמם שוקלים מעל שישים גיגה בייט, וניצול של כל שלושים ושניים אלף הטוקנים דורש זיכרון נוסף עבור זיכרון העבודה של ההקשר. בפועל תצטרכו שרת עם לפחות שמונים גיגה בייט זיכרון כרטיס מסך.

מה ההבדל בין מודל זה לגרסת שלושים וארבעה מיליארד הרגילה?

ההבדל העיקרי הוא התמיכה המובנית בהקשר של שלושים ושניים אלף טוקנים לעומת חלונות קצרים יותר, מה שמאפשר לו לעבד טקסטים ארוכים בהרבה בלי פתרונות עוקפים.

איך מריצים

המשקל המלא של הקבצים מגיע לכשישים וארבעה גיגה בייט בדיוק המקורי. כדי לטעון ולהריץ אותו בצורה מקומית צריך לפחות שני כרטיסי מסך חזקים עם עשרים וארבעה גיגה זיכרון כל אחד, או כרטיס שרת מקצועי עם שמונים גיגה, במיוחד אם רוצים לנצל את מלוא חלון ההקשר הארוך.

אפשר להריץ אותו ישירות עם ספריית הטרנספורמרס המוכרת. אם אין לכם גישה לשרתים מתאימים בענן או בחומרה פנימית, התחזוקה העצמאית תעלה מהר מאוד, ועדיף לבדוק שירותי ענן שמציעים גישה למודל הזה דרך ממשק חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-1.5-34B-32K")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים מלאים, לשנות את המשקלים, לאמן עליו מודלים פנימיים ולשלב אותו במוצרים מסחריים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗