SynthIA-7B-v1.3

מה זה

מדובר בכיוונון של מיסטרל שבעה מיליארד פרמטרים על גבי דאטה-סטים בסגנון אורקה, כלומר שרשראות חשיבה והסברים מפורטים שמטרתם לחקות תהליכי היקש של מודלים ענקיים. המפתח כיוון אותו במיוחד לשיחות מתמשכות ולמעקב אחרי הוראות מורכבות, כולל תמיכה מובנית בשיטות הסקת מסקנות כמו עץ מחשבות.

במבחני הביצועים הוא מציג תמונה מעורבת שמאפיינת מודלים בגודל הזה. בבדיקות ידע כללי והבנת שפה כמו ממוצע של כ־62 אחוזים במבחן MMLU ומעל 83 אחוזים בהלסוואג, הוא מחזיק מעמד יפה ומספק תשובות קוהרנטיות באנגלית. מנגד, במתמטיקה טהורה הוא מתקשה מאוד, עם ציון של 17.59 אחוזים בלבד במבחן GSM8K, כך שחישובים מספריים מורכבים עדיף לא להשאיר לו.

מתאים ל

• שיחות עומק באנגלית

  הוא אומן על הסברי אורקה ארוכים ומתאים לדיאלוגים מורכבים שדורשים פירוט של שלבי החשיבה.

• עיבוד טקסט ללא צנזורה

  מתאים לניתוח טקסטים רגישים או חופשיים שחסומים במודלים מסחריים עם פילטרים הדוקים מדי.

• מערכות הפועלות מקומית

  גודל של שבעה מיליארד מאפשר להריץ אותו על חומרה ייעודית בתוך הארגון לשמירה על פרטיות.

איפה זה נופל

המודל מוגדר כלא מצונזר לחלוטין. הוא עלול לפלוט תוכן פוגעני, שגוי או מוטה בלי שום מנגנון בלימה מובנה. מעבר לכך, התוצאה שלו בפתרון בעיות חשבוניות נמוכה מאוד, והוא מתועד כבעל תמיכה באנגלית בלבד. אם אתם בונים מוצר שפונה לקהל ישראלי או דורש עיבוד טקסט בעברית, צפו לשיבושים קשים או לחוסר הבנה מוחלט, וחובה להציב שכבת סינון ובקרה חיצונית לפני שחושפים אותו למשתמשי קצה.

אותה משפחה

SynthIA יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 13.5 ג'יגה בייט בדיוק נקודה צפה 16, מה שאומר שכדי לטעון אותו כמו שהוא תצטרכו כרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון גרפי. הוא רץ ישירות דרך ספריית טרנספורמרס ומבוסס על הארכיטקטורה הסטנדרטית של מיסטרל, כך שההטמעה בקוד פשוטה ומוכרת.

אם התקציב או השרתים לא כוללים כרטיס חזק מספיק, אפשר להשתמש בגרסאות מכומתות שחוסכות זיכרון. לחלופין, אם אתם צריכים רק מענה מהיר להוראות ולא מוכרחים להחזיק את כל המשקולות אצלכם בשרת, פנייה ל־API מסחרי תחסוך את כאב הראש של התחזוקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="migtissera/SynthIA-7B-v1.3")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• tokenizer.json1.8 MB
• SynthIA.png1.5 MB
• tokenizer.model493.4 KB
• pytorch_model.bin.index.json23.9 KB
• README.md5.7 KB
• .gitattributes1.6 KB
• tokenizer_config.json915 B
• config.json625 B
• generation_config.json116 B
• special_tokens_map.json72 B

הרישיון

הרישיון הוא אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים וכתב הוויתור, שמבהיר שהשימוש נעשה על אחריותכם וללא שום אחריות מצד המפתח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗