Yi-6B

מה זה

מדובר במודל בסיס ראשוני מסדרת המודלים של 01-ai, שפותח בארכיטקטורה זהה לזו של לאמה אך אומן על סט נתונים נפרד של שלושה טריליון טוקנים. הוא אינו מודל שיחה ומגיע ללא יישור, מה שאומר שהוא מייצר השלמות טקסט סטטיסטיות ולא עונה לשאלות בצורת דיאלוג מהקופסה.

הייחוד שלו טמון באיזון הדו לשוני החזק בין אנגלית לסינית. המפתחים מציגים את ארכיטקטורת הבסיס כמסוגלת להתרחב בעת הסקה מארבעת אלפים טוקנים ברירת מחדל ועד שלושים ושניים אלף, לצד שחרור של גרסאות נוספות בסדרה שמגיעות מראש עם תמיכה במאתיים אלף טוקנים.

מתאים ל

• בסיס לפיין טיונינג ייעודי

  משקלי בסיס נקיים של שישה מיליארד פרמטרים שמתאימים מאוד להתאמה אישית על חומר ארגוני באנגלית או סינית.

• עיבוד טקסט דו לשוני

  משימות סיווג, הפשטה או יצירת טקסט בסביבות שדורשות שליטה משולבת של סינית ואנגלית בהיקף משאבים צנוע.

• מחקר והשוואת ארכיטקטורות

  השוואת ביצועים מול משפחת לאמה על משקלים שאומנו מאפס על תשתית אימון עצמאית של שלושה טריליון טוקנים.

איפה זה נופל

זהו מודל בסיס ללא התאמות התנהגות וללא שכבת שיחה. הוא אינו מיועד לפעול כצ'אטבוט עצמאי ללא תהליך פיין טיונינג ייעודי, והוא פגיע במיוחד להזיות, חזרתיות ואיבוד עקביות לאורך טקסט ארוך. הידע שלו מוגבל למידע שנאסף עד יוני 2023, והוא אינו מחזיק בשום ידע מובנה או יכולות מיוחדות בעברית, כך שלא הייתי משתמש בו למשימות הדורשות הבנת שפה מקומית.

אותה משפחה

Yi יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא של הקבצים עומד על כמעט עשרים ושלושה גיגה בייט בדיוק bfloat16, כך שהרצה מקומית מלאה דורשת כרטיס גרפי מקצועי עם לפחות עשרים וארבעה גיגה בייט זיכרון, כמו כרטיסי שרת ייעודיים. אפשרות אחרת למחשבים אישיים או מקבוק היא שימוש בכלים כמו llama.cpp עם כימות למשקלים קלים יותר, או פשוט שימוש בגרסאות הכימות הרשמיות בארבע או שמונה ביט.

המפתחים סיפקו מעטפת התקנה פשוטה דרך פייתון, דוקר וסביבות קונדה, לצד תמיכה מלאה בספריית הטרנספורמרס הרגילה. אם כל מה שאתם צריכים זה לבחון את היכולות שלו לפני בניית שרת, יש לו מעטפת בדיקה דרך ה־API של רפליקייט או הדגמות רשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-6B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 22.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin2.2 GB
• model-00002-of-00002.safetensors2.2 GB
• tokenizer.json3.6 MB
• tokenizer.model1.0 MB
• README.md87.9 KB
• model.safetensors.index.json23.9 KB
• pytorch_model.bin.index.json23.9 KB
• LICENSE11.3 KB
• .gitattributes1.5 KB
• Yi.svg980 B
• config.json605 B
• tokenizer_config.json320 B
• md5184 B
• generation_config.json132 B

הרישיון

המודל פורסם במקור תחת רישיון הקוד הפתוח אפאצ'י שתיים, שמתיר שימוש מסחרי חופשי, שינוי קוד, הפצה ושילוב במוצרים קנייניים ללא תשלום תמלוגים, בכפוף לשמירת הודעות הזכויות המקוריות. עם זאת, תיעוד המפתח מציין גם הסכם רישיון קהילתי ייעודי שעודכן לאורך הדרך, ולכן מומלץ לבדוק את תנאי השימוש הרשמיים במאגר לפני הטמעה רחבה במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗