GPT
הוספת כלי
Y

Yi-1.5-34B-Chat

קוד פתוח

01-aiapache-2.02024-05-10

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסת שיחה בגודל 34 מיליארד פרמטרים שמכוונת לביצועי קוד והיגיון חזקים. היא מתאימה למי שמחפש מודל פתוח כבד יחסית עם רישיון אפאצ'י מלא, בלי תלות בספק ענן מסוים.

  • 34Bפרמטרים
  • 4,096טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 15,503הורדות בחודש

מה זה

מדובר בעדכון ישיר לסדרת המודלים של החברה, שעבר אימון המשך על עוד חמש מאות מיליארד טוקנים וכוונון עדין על שלושה מיליון דוגמאות. הדגש המרכזי כאן הושם על תכנות, פתרון בעיות מתמטיות ויכולת מעקב אחרי הוראות מורכבות, לצד שימור ההבנה השפתית וההסקה הכללית מהגרסה הקודמת.

בגודל של 34 מיליארד פרמטרים, הוא מנסה להתחרות ישירות במודלים גדולים בהרבה. היוצרים מציגים מדדים שלפיהם הוא משתווה אליהם או עוקף אותם ברוב המבחנים המקובלים, מה שהופך אותו לאופציה מעניינת אם אתם מחפשים ביצועים של מודלים ענקיים מבלי להגיע לסדרי הגודל של שבעים מיליארד פרמטרים.

מתאים ל

  • עוזר פיתוח מקומי

    כתיבת קוד ובדיקות על שרת פנימי למי שאינו רשאי להוציא קוד למודלים חיצוניים.

  • בוט שיחה למשימות היגיון

    מענה להוראות מורכבות ופתרון בעיות טכניות שדורשות דיוק מתמטי ולוגי.

  • אוטומציה עסקית פרטית

    עיבוד טקסטים קצרים וסיווג נתונים רגישים על חומרה עצמאית תחת רישיון פתוח.

איפה זה נופל

חלון ההקשר בגרסה הזו עומד על ארבעת אלפים טוקנים בלבד. לשיחות קצרות או משימות נקודתיות זה מספיק, אבל זה חוסם לגמרי ניתוח מסמכים ארוכים, קריאת קבצי קוד שלמים או שיחות ממושכות בלי לאבד את ההתחלה. מי שצריך חלון רחב יצטרך לבחור בגרסת שש עשרה אלף הטוקנים של המודל. בנוסף, אין בתיעוד שום מידע על תמיכה בעברית, ולכן לא מומלץ להסתמך עליו לפרויקטים מקומיים לפני בדיקה יסודית של השפה.

אותה משפחה

Yi-1.5 יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Yi-1.5-9B-Chat16,113 Yi-1.5-9B13,978 Yi-1.5-9B-Chat-16K9,728 Yi-1.5-34B9,072 Yi-1.5-34B-32K8,570 Yi-1.5-6B-Chat5,186

שאלות
נפוצות

האם המודל מתאים לעבודה עם מסמכים ארוכים בעברית?

לא בגרסה הזו. חלון ההקשר מוגבל לארבעת אלפים טוקנים, מה שחוסם טקסטים ארוכים מראש. מעבר לכך, אין מידע בכרטיס המודל לגבי איכות העברית שלו, ולכן עדיף להריץ בדיקות קצרות בעצמכם או לבחור מודל שנבדק בשפה.

כמה זיכרון כרטיס מסך נדרש כדי להרים אותו?

בדיוק המקורי של שש עשרה ביט תצטרכו בסביבות שבעים עד שמונים גיגה של זיכרון מסך, כלומר שני כרטיסי עבודה מתקדמים או כרטיס בודד של שמונים גיגה. כדי לחסוך במשאבים תצטרכו להשתמש בגרסאות מכווצות או לעבור למודל התשעה מיליארד מאותה סדרה.

איך מריצים

כדי להריץ אותו מקומית בפורמט המקורי תצטרכו שרת עם לפחות שני כרטיסי שמונים גיגה, מכיוון שמשקל הקבצים לבדו תופס מעל שישים וארבעה גיגה בזיכרון הדיוק המקורי. מי שלא מחזיק חומרה כזו יצטרך לבצע קוונטיזציה או לפנות לגרסאות הקטנות יותר של הסדרה, שכוללות מודלים של תשעה ושישה מיליארד פרמטרים.

אם אתם לא חייבים שהנתונים יישארו אצלכם פיזית, הרצה דרך שירות ענן חיצוני עדיפה בהרבה. ניהול תשתית למודל בכזה משקל מייצר עלויות קבועות גבוהות, במיוחד אם אתם לא מחזיקים תעבורה שוטפת שמצדיקה כרטיסי עיבוד יקרים כאלה באוויר.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-1.5-34B-Chat")
print(pipe("שלום"))

הקבצים

26 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון אפאצ'י שתיים אפס. מדובר ברישיון פתוח לחלוטין שמאפשר שימוש מסחרי, שינוי של המשקלים, שילוב במוצרים סגורים והפצה מחדש, כל עוד אתם מצרפים עותק של הרישיון המקורי ושומרים על הצהרות זכויות היוצרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗