Yi-6B-200K

מה זה

המודל הזה נבנה מאפס על ארכיטקטורת Llama המוכרת, אבל המשקלים שלו עצמאיים לחלוטין ואומנו על שלושה טריליון טוקנים עד יוני 2023. המאפיין העיקרי שלו מול מודלים אחרים בקטגוריית שישה עד שבעה מיליארד פרמטרים הוא חלון ההקשר, שמגיע למאתיים אלף טוקנים. בערכים מעשיים, זה מאפשר לטעון לתוכו ספרים שלמים או מאות עמודי תיעוד בבת אחת.

זהו מודל בסיס ולא גרסת צ'אט, כלומר הוא מאומן להשלים טקסט ולא לענות לשאלות כעוזר אישי. המפתחים הגדירו את סדרת 6B כמתאימה בעיקר לשימוש אישי ואקדמי, כשההתמקדות של היוצרים היא יכולות דו לשוניות באנגלית ובסינית, הבנת הנקרא והסקה בסיסית.

מתאים ל

• עיבוד מסמכי ענק באנגלית

  חלון של 200 אלף טוקנים מאפשר להזין תיעוד טכני שלם להשלמה וניתוח טקסטואלי.

• בסיס לאימון והתאמה אישית

  גודל של 6 מיליארד פרמטרים הופך אימון עדין למשימות מוגדרות למהיר וזול יחסית.

• ניתוח טקסטים ארוכים בסינית

  הוא אומן במיוחד כמודל דו לשוני ומסוגל להכיל מאות אלפי תווים בסינית בהרצה אחת.

איפה זה נופל

זהו מודל בסיס שעבר רק אימון מקדים, ולכן הוא לא מחזיר תשובות מובנות להוראות ישירות אלא ממשיך את הטקסט שהזנתם. בלי כוונון עדין למשימה שלכם, הוא לא יתפקד כבוט שיחה. בנוסף, המודל אומן על אנגלית וסינית בלבד, כך שאי אפשר לבנות עליו לעיבוד עברית, ונתוני האימון שלו נחתכו ביוני 2023.

אותה משפחה

Yi יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך להוריד כעשרים ושלושה גיגה בייט של קבצים ולהשתמש בספריית transformers הרגילה של פייתון. המודל שמור בדיוק bfloat16, כך שהמשקלים לבדם דורשים קצת יותר משנים עשר גיגה בייט זיכרון וידאו, אבל אם מנצלים את מלוא חלון ההקשר, צריכת הזיכרון לניהול הטוקנים תקפוץ ותדרוש כרטיס מקצועי וחזק בהרבה.

אם יש לכם מחשב נייד פשוט או כרטיס מסך ביתי קטן, עדיף להמיר אותו לפורמט מכווץ דרך llama.cpp או להשתמש בנקודות קצה של צד שלישי שמציעות אותו כשירות. הרצה עצמית שווה את הטרחה רק כשאתם צריכים פרטיות מלאה או שליטה מוחלטת בעיבוד הטקסט.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-6B-200K")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 22.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin2.2 GB
• model-00002-of-00002.safetensors2.2 GB
• tokenizer.json3.6 MB
• tokenizer.model1.0 MB
• README.md87.9 KB
• model.safetensors.index.json28.1 KB
• pytorch_model.bin.index.json26.8 KB
• LICENSE11.3 KB
• .gitattributes1.5 KB
• Yi.svg980 B
• config.json608 B
• tokenizer_config.json322 B
• md5184 B
• generation_config.json132 B

הרישיון

המודל מופץ ברישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המשקלים והפצה של המודל בתוך מוצרים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗