multi_verse_model

מה זה

מדובר במודל טקסט שנשען על הארכיטקטורה המוכרת של מיסטרל, עם 7.2 מיליארד פרמטרים וחלוקה ל־32 שכבות. היוצרים שלו מציגים אותו כניסוי שמטרתו להדגים שיטת אימון חדשה לשיפור קליטת הידע, מעין שדרוג לתהליך הלמידה הרגיל. מעבר להסבר הזה, הם לא שיתפו שום מבחני ביצועים, בנצ'מרקים או פירוט טכני על הדאטה שעליו הוא אומן.

מה שכן ברור מהמפרט זה חלון ההקשר. עם 32,768 טוקנים בדיוק bfloat16, הוא מיועד להתמודד עם טקסטים ארוכים באנגלית, תחום שבו מודלים קטנים יותר לפעמים נחנקים. אם המטרה שלכם היא מודל בסיסי מוכח עם קבלות בשטח, אין כאן נתונים שמראים שהוא עוקף את מיסטרל המקורי, אבל הוא כן מספק בסיס לבדיקה של גישות אימון אלטרנטיביות.

מתאים ל

• עיבוד מסמכים ארוכים באנגלית

  חלון הקשר של 32k טוקנים מאפשר להזין טקסטים נרחבים בבת אחת.

• בדיקת שיטות אימון שונות

  מתאים לחוקרים שרוצים לבחון השפעות של טכניקות למידה חלופיות.

• אירוח עצמי על חומרה בינונית

  משקל של 7.2B פרמטרים מאפשר ריצה מקומית על כרטיס מסך בודד.

איפה זה נופל

הבעיה העיקרית כאן היא חוסר השקיפות. כרטיס המודל לא חושף שום מידע על מערך הנתונים, המגבלות, הבטיחות או מדדי הדיוק, ומגדיר את הפרויקט במפורש כמוצר של ניסוי. הוא מוגדר לשפה האנגלית בלבד, כך שאין מה לבנות עליו לעברית. אסור להכניס אותו למוצר בלי בדיקה מעמיקה של נטייה להזיות, עמידה בהוראות והתנהגות תחת עומס.

איך מריצים

כדי להריץ אותו מקומית בדיוק המקורי שלו תצטרכו להוריד 13.5 גיגה-בייט של קבצים דרך ספריית transformers. זה דורש כרטיס מסך עם לפחות 16 גיגה-בייט של זיכרון וידאו, כמו RTX 4080 או כרטיס שרת מקביל, במיוחד אם אתם בונים על ניצול מלא של חלון ההקשר.

אם אין לכם חומרה כזו פנויה, אפשר לכווץ אותו לקוונטיזציה של 4 ביט כדי לדחוף אותו למחשב אישי חלש יותר, אבל בשביל ניסוי מהיר כנראה עדיף להרים שרת ענן ייעודי לכמה שעות. אין לו שירות API מסחרי מוכן משלו, אז כל המשחק כאן הוא אירוח עצמי.

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/multi_verse_model")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json644 B
• README.md593 B
• special_tokens_map.json552 B
• generation_config.json116 B

הרישיון

הוא מופץ תחת רישיון apache-2.0. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו הלאה, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗