GPT
הוספת כלי
Y

Yi-34B

קוד פתוח

01-aiapache-2.02023-11-01

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

מודל בסיס בגודל ביניים שמספק ביצועים של מודלים ענקיים בלי לשלם על 70 מיליארד פרמטרים. הבחירה המתאימה אם מחפשים נקודת פתיחה חזקה לאימון עצמאי באנגלית או בסינית.

  • 34Bפרמטרים
  • 4,096טוקנים בהקשר
  • 128 GBמשקל הקבצים
  • 10,267הורדות בחודש

מה זה

מדובר במודל בסיס דו לשוני שאומן מאפס על קורפוס של 3 טריליון טוקנים באנגלית ובסינית, בארכיטקטורת Llama סטנדרטית. המטרה שלו היא לשבור את הדילמה בין מודלי 7B או 13B חלשים מדי לבין מודלי 70B יקרים להחריד להרצה.

במבחנים הפתוחים של Hugging Face ובמדד C-Eval הוא עקף בזמנו מודלים פתוחים גדולים ממנו בהרבה, כולל Llama-70B ו־Falcon-180B. המשמעות בפועל היא יכולת הבנת שפה, השלמת טקסט והיגיון בסיסי ברמה שמקבילה למודלים תעשייתיים כבדים, אבל בגוף שדורש חצי מכוח החישוב. עם זאת, הוא מודל בסיס ולא כוונן בהוראות, כך שהוא פולט השלמות גולמיות ולא מנהל שיחה ישירה בלי אימון מקדים.

מתאים ל

  • אימון מודל ייעודי לארגון

    נקודת מוצא מעולה לכוונון עדין במשימות מורכבות, בזכות 34 מיליארד פרמטרים שמציגים הבנה גבוהה יותר ממודלי 7B.

  • עיבוד טקסטים בסינית ואנגלית

    הוא אומן על 3 טריליון טוקנים דו לשוניים, ומציג דיוק יוצא דופן בתרגום והבנה בין שתי השפות האלה.

  • השלמת טקסטים אוטומטית

    כמודל בסיס טהור, הוא מצטיין בהמשך ישיר של פרומפטים מובנים מראש עבור יצירת תוכן ותבניות טקסטואליות.

איפה זה נופל

החיסרון המרכזי כאן הוא שמדובר במודל בסיס בלבד, ללא כוונון שיחה מובנה. אם תשאלו אותו שאלה הוא פשוט ימשיך את הטקסט ולא בהכרח יענה. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, כך שהוא לא מתאים לעיבוד מסמכים ארוכים בלי הגרסאות המורחבות של המשפחה. נתוני האימון שלו עודכנו עד יוני 2023 בלבד, והוא חסר ידע עדכני לחלוטין.

אותה משפחה

Yi יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Yi-6B32,650 Yi-6B-Chat29,864 Yi-34B-Chat26,109 Yi-6B-200K14,863 Yi-9B8,984 Yi-34B-200K8,969 Yi-9B-200K8,830

שאלות
נפוצות

האם המודל מבין ועונה בעברית בצורה טובה?

האימון הרשמי התמקד באנגלית ובסינית, ואין התייחסות לתמיכה בעברית בחומרי המודל. סביר להניח שהיכולות שלו בעברית בסיסיות מאוד ונוטות לשגיאות, ולכן לשימוש בעברית תידרשו לבצע כוונון עדין על דאטה מתאים.

האם אפשר לשוחח איתו ישירות בצ'אט?

לא מומלץ. זהו מודל בסיס שנועד להשלים רצפי מילים ולא לענות למשתמש. עבור ממשק שיחה עדיף לקחת ישירות את גרסת Yi-34B-Chat שעברה כוונון מיוחד להוראות.

איך מריצים

כדי להריץ אותו במשקל מלא של bfloat16 תצטרכו כרטיס שרת כמו A800 או A100 בנפח 80GB, שכן המשקלים עצמם שוקלים 128 גיגה בייט ומחולקים לעשרים ושישה קבצים. בעבודה מקומית על מחשב אישי או מקינטוש עדיף לפנות לגרסאות מכווצות דרך llama.cpp, או להשתמש בגרסאות ה־Chat הקיימות בפורמט 4 ביט ו־8 ביט שרצות גם על כרטיסי RTX 3090 ו־4090.

אם אין לכם שרת ייעודי פנוי עם כרטיס 80GB ודרישות האבטחה שלכם לא מחייבות עבודה מקומית מוחלטת, שווה לפנות ל־API מסחרי כמו Replicate במקום לשלם על תשתית ענן ייעודית.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-34B")
print(pipe("שלום"))

הקבצים

26 קבצים במאגר, 128 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר ברישיון apache-2.0 חופשי ופתוח. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לבצע לו כוונון עדין ולהפיץ אותו בתוך מוצרים סגורים, בלי צורך לבקש אישור מיוחד או לשלם תמלוגים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗