GPT
הוספת כלי
M

merlinite-7b

קוד פתוח

ibm-researchapache-2.02024-03-02

  • transformers
  • safetensors
  • mistral
  • text-generation
  • merlinite

גרסת 7B של מיסטרל שעברה יישור בידי IBM באמצעות נתונים סינתטיים ממודל מורה, ומציגה ביצועי שיחה ופתרון בעיות גבוהים יחסית לגודלה.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • 454הורדות בחודש

מה זה

מדובר במודל שפת בסיס מסוג Mistral-7B-v0.1 שעבר אימון יישור בשיטה שנקראת LAB. במקום להשתמש במשוב אנושי או בנתונים שנוצרו על ידי GPT-4, החוקרים יצרו מערך נתונים סינתטי מבוסס עץ משימות באמצעות Mixtral-8x7B-Instruct. הרעיון היה להוסיף ידע ומיומנויות בשני שלבים נפרדים עם מאגרי שחזור, כדי למנוע שכחה של יכולות קודמות.

במבחני הביצועים הוא עוקף מודלים מקבילים וגם גרסאות 13B קודמות. בציון MTBench הוא מגיע ל־7.66 וב־MMLU ל־64.88, תוצאות שמציבות אותו מעל גרסאות ה־Instruct הרשמיות של מיסטרל לאותו גודל. המספרים האלה מראים שהשיטה הצליחה לחלץ ממודל של שבעה מיליארד פרמטרים יכולת נימוק ושיחה שמתחרה ישירות במודלים שאומנו על נתוני מורים גדולים בהרבה.

מתאים ל

  • בוט שיחה באנגלית

    הוא מציג ציון MTBench של 7.66, שמעיד על הבנה טובה של הוראות וניהול שיחה רב שלבית.

  • מענה מבוסס מסמכים

    שיטת האימון שלו כללה תרגול ספציפי של שאלות ותשובות מתוך מקורות ידע חיצוניים.

  • משימות היגיון ופתרון בעיות

    התוצאות במבחני ARC-C ו־GSM8K גבוהות יחסית למודלים אחרים באותו סדר גודל של שבעה מיליארד פרמטרים.

איפה זה נופל

המודל לא עבר שום תהליך של יישור להעדפות אנושיות, כמו RLHF. המשמעות היא שהוא עלול לייצר תכנים בעייתיים, מידע כוזב או הזיות, במיוחד ביצירת תוכן ללא מקור חיצוני מצורף. בנוסף, האימון התבסס לחלוטין על נתונים סינתטיים שנוצרו על ידי מודל אחר, ולכן הוא יורש את העיוותים, הפגמים והמגבלות של מודל המורה ושל מודל הבסיס. השפה הנתמכת היא בעיקר אנגלית, כך שאין מה לבנות עליו למשימות בעברית בלי בדיקה מקדימה.

שאלות
נפוצות

האם אפשר להשתמש בו לעיבוד טקסטים בעברית?

הכרטיס מגדיר את שפת המודל כאנגלית בלבד. מודל הבסיס מסוגל לפעמים לפענח שפות נוספות ברמה בסיסית, אבל האימון היעודי לא כלל עברית ולכן התוצאות לא יהיו אמינות לשימוש מעשי.

האם הוא בטוח לשימוש ישיר מול לקוחות קצה?

לא מומלץ לחבר אותו למשתמשי קצה בלי שכבת סינון נוספת. המפתחים מציינים בפירוש שהוא לא עבר יישור מול בני אדם ועלול לייצר תוכן מטעה או לא ראוי.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־13.5 גיגה בייט בפורמט bfloat16 ומחולק לעשרים קבצים. כדי להעלות אותו לזיכרון כפי שהוא תצטרכו כרטיס גרפי עם לפחות 16 גיגה בייט של זיכרון ייעודי, או לחלופין לבצע קוונטיזציה שתאפשר דחיסה לנפחים קטנים יותר.

בזמן ההרצה חובה להקפיד על מבנה הפרומפט הספציפי שכולל תגיות מערכת, משתמש ועוזר, לצד טוקן העצירה היעודי. אם אתם צריכים רק תגובות מזדמנות ואין לכם שרת עם מאיץ גרפי זמין, החזקה עצמית של מודל כזה תעלה יותר לעומת קריאה לשירות ענן מנוהל שמחזיק מודלים פתוחים.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-research/merlinite-7b")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות את המשקלים, להפיץ אותם מחדש ולהריץ אותו בתוך מערכות סגורות בלי לשלם תמלוגים, כל עוד שומרים על הודעת הרישיון המקורית והקרדיט.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗