UserLM-8b

מה זה

מיקרוסופט לקחו את Llama3-8b-Base ואימנו אותו במטרה הפוכה מהרגיל. הוא קיבל אימון מלא על בסיס נתוני שיחות ממאגר WildChat כדי לחזות את התור הבא של המשתמש האנושי, במקום לנסח תשובות מנומסות של סייען דיגיטלי. נותנים לו כוונת משתמש כללית, והוא מייצר את הפנייה הראשונה, ממשיך לשאול שאלות לאורך השיחה, ויודע מתי לפלוט טוקן סיום כשהעסק מוצה.

במבחני הערכה מול מודלים רגילים שקיבלו הנחיה להתנהג כמו משתמש, הוא מציג מדד פרפלקסיטי נמוך יותר על שיחות שלא נראו באימון, ומנצח אותם בשישה מדדים שונים של התנהגות משתמש. במבחנים של כתיבת קוד ופתרון בעיות מתמטיות, הסימולציות שלו הציגו קצב שיחה מגוון ובחירת מילים טבעית יותר, מה שהקשה על סייענים מולו וחשף כשלים שפרומפטים רגילים לא הצליחו לגלות.

מתאים ל

• בדיקת איכות לסייענים

  סימולציה של משתמשים אמיתיים לצורך הרצת שיחות אוטומטיות מרובות תורות ובדיקת עמידות של צ'אטבוטים.

• ייצור דאטה סינתטי

  הפקת דיאלוגים מגוונים בשילוב עם מודל סייען כדי ליצור נתוני אימון מורכבים יותר.

• בסיס למודלי שפיטה

  אימון מודלים להערכת טיב השיחה מנקודת מבטו של המשתמש ולא מנקודת המבט של המערכת.

איפה זה נופל

הוא לא מודל שירות, ואם תנסו לבקש ממנו עזרה במשימה הוא פשוט ימשיך לדבר כמו מישהו שמבקש עזרה בעצמו. החוקרים מציינים שהוא לא מגיע למאה אחוזי יציבות, ולפעמים שוכח את התפקיד שלו או סוטה מהכוונה המקורית שהוגדרה לו. בעיה בולטת נוספת היא הזיות של דרישות ומגבלות שלא הופיעו בהנחיה המקורית, מה שעלול להרוס בדיקות אוטומטיות. הוא אומן ונבדק באנגלית בלבד, לא עבר חיסון נגד התקפות הזרקת פרומפט, וכדי להוציא ממנו תוצאות טובות צריך לממש מנגנוני סינון ייעודיים על הפלטים.

איך מריצים

המשקל המקורי מגיע בפורמט float32 ותופס כמעט שלושים גיגה בייט בזיכרון, כך שאי אפשר להריץ אותו בצורתו הגולמית על כרטיס ביתי פשוט. תצטרכו לפחות מעבד גרפי מקצועי עם 32 או 48 גיגה בייט זיכרון כדי לטעון אותו, או להמיר אותו לקוונטיזציה נמוכה יותר של 4 או 8 ביט כדי לדחוס אותו לכרטיס צרכני רגיל.

האימון עצמו בוצע עם אורך הקשר של 2,048 טוקנים בלבד, למרות שהארכיטקטורה תומכת בעד 8,192, ולכן שיחות ארוכות במיוחד עלולות לגרום לו לאבד את הכיוון. מי שרק רוצה לבחון איכות של סייען בלי להחזיק תשתית כבדה יכול להסתפק בפרומפט פשוט למודל גדול דרך ספק ענן, אבל כדי לקבל הדמיית משתמש אמינה ועקבית צריך להריץ את המשקלים האלה מקומית.

pip install -U huggingface_hub
hf download microsoft/UserLM-8b

הקבצים

17 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00007.safetensors5.0 GB
• model-00006-of-00007.safetensors5.0 GB
• model-00003-of-00007.safetensors5.0 GB
• model-00001-of-00007.safetensors4.9 GB
• model-00005-of-00007.safetensors4.8 GB
• model-00002-of-00007.safetensors4.8 GB
• model-00007-of-00007.safetensors2.6 GB
• tokenizer.json17.2 MB
• tokenizer_config.json50.9 KB
• model.safetensors.index.json23.9 KB
• README.md10.7 KB
• .msr/project.md6.1 KB
• .gitattributes1.6 KB
• config.json688 B
• special_tokens_map.json449 B
• chat_template.jinja191 B
• generation_config.json172 B

הרישיון

רישיון MIT חופשי ומתיר שימוש מסחרי, שינוי קוד והפצה בלי תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, החוקרים עצמם ממליצים במפורש להגביל את השימוש למחקר בלבד ולא לשלב אותו במערכות ייצור בעולם האמיתי בלי בדיקות נוספות והתאמות בטיחות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗