Yi-1.5-9B-Chat

מה זה

מדובר במודל שפת שיחה של 8.8 מיליארד פרמטרים שמבוסס על ארכיטקטורת Llama. היוצרים ב־01-ai לקחו את מודל הבסיס הקודם שלהם ואימנו אותו על עוד 500 מיליארד טוקנים, לצד כיוונון עדין על 3 מיליון דוגמאות הוראה. הדגש כאן הוא על חיזוק יכולות כתיבת קוד, פתרון בעיות מתמטיות ומעקב אחרי הוראות מורכבות, בלי לאבד את הבנת השפה הכללית שהייתה קודם.

היתרון המרכזי בגודל הזה הוא היחס בין ביצועים למשאבים. המפתחים מציגים אותו כמוביל בקטגוריית הגודל שלו בקוד פתוח. הוא פונה ישירות למי שמחפש מודל שמגיב מהר ולא דורש שרתים מנופחים כדי לתת תשובות ענייניות בשיחה ובקוד.

מתאים ל

• עוזר קוד מקומי

  אימון ההמשך התמקד בקוד, והמודל נכנס בכרטיס מסך ביתי אחד.

• צ'אטבוט לשירות לקוחות

  התאמה טובה למענה מהיר על שאלות קצרות עם צריכת משאבים נמוכה.

• מעקב אחר הוראות מובנות

  עבר כיוונון ייעודי על מיליוני דוגמאות להבנת פקודות מורכבות.

איפה זה נופל

חלון ההקשר בגרסה הזו מוגבל ל־4,096 טוקנים בלבד. במציאות הנוכחית זה מעט מאוד, והוא ייחנק מהר מאוד אם תנסו לתת לו קבצי קוד ארוכים, תיעוד טכני מלא או היסטוריית שיחה ממושכת.

בנוסף, הכרטיס לא מציג מידע על תמיכה בעברית, ולכן צריך לבדוק היטב איך הוא מתמודד עם השפה לפני שמתבססים עליו בפיתוח מקומי. למשימות שדורשות הבנת הקשר רחב עדיף לקחת מראש את גרסת ה־16K.

אותה משפחה

Yi-1.5 יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 16.5 גיגה בייט בדיוק של bfloat16. כדי להריץ אותו כמו שהוא בלי קוונטיזציה תצטרכו כרטיס מסך עם לפחות 20 עד 24 גיגה בייט זיכרון גרפי, כמו RTX 3090 או 4090 בודד. המודל נתמך ישירות בספריית transformers הסטנדרטית דרך הארכיטקטורה של Llama.

אם אין לכם כרטיס כזה זמין או שאתם צריכים לשרת עומס של הרבה משתמשים במקביל, כנראה שיהיה זול ופשוט יותר להשתמש ב־API חיצוני. בנוסף, מי שצריך לנתח מסמכים ארוכים יעדיף לבחור בגרסת ה־16K של אותו המודל במקום בגרסה הזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-1.5-9B-Chat")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 16.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors2.8 GB
• tokenizer.json3.6 MB
• tokenizer.model1.0 MB
• model.safetensors.index.json35.8 KB
• README.md5.8 KB
• tokenizer_config.json1.7 KB
• .gitattributes1.5 KB
• NOTICE879 B
• config.json661 B
• md5598 B
• special_tokens_map.json567 B
• generation_config.json132 B

הרישיון

המודל משוחרר תחת רישיון apache-2.0. זה רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקלים והפצה בתוך מוצרים. הדרישה העיקרית היא לכלול את תנאי הרישיון המקוריים ומתן קרדיט ליוצרים, בלי תמלוגים ובלי הגבלות על היקף השימוש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗