GPT
הוספת כלי
O

Orca-2-13b

קוד פתוח

microsoftother2023-11-14

  • transformers
  • pytorch
  • llama
  • text-generation
  • orca

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

גרסת מחקר שנועדה לבדוק אם מודלים קטנים יכולים להפגין יכולות חשיבה מורכבות. מייקרוסופט אימנה אותו על דאטה סינתטי כדי לפתור בעיות היגיון במענה בודד.

  • 4,096טוקנים בהקשר
  • 48.5 GBמשקל הקבצים
  • 1,973הורדות בחודש
  • 668לייקים

מה זה

מייקרוסופט לקחה את מודל הבסיס של Llama 2 והעבירה אותו כוונון עדין על מערך נתונים סינתטי שנוצר באמצעות מודלים חזקים יותר. המטרה הוגדרה מראש כשיפור יכולות חשיבה והיסק לוגי, הבנת הנקרא, פתרון בעיות במתמטיקה וסיכום טקסט, תחומים שבהם מודלים קטנים נוטים להציג ביצועים נמוכים.

הוא בנוי לתת מענה בפנייה אחת בלבד ולא עבר אופטימיזציה לצ'אט. לא אימנו אותו בשיטות כמו RLHF או DPO כדי לרצות משתמש בשיחה, ולכן הוא מתנהג יותר כמו מנוע היסק ממוקד למשימה מאשר כעוזר אישי. בנוסף, האימון התמקד במצבי אפס דוגמאות, כך שהוא לא תמיד מציג שיפור משמעותי כשמספקים לו דוגמאות בתוך הפרומפט.

מתאים ל

  • פתרון בעיות היגיון

    אימון המודל התמקד ביכולות חשיבה והיסק במענה בודד מול נתונים שהמשתמש מספק.

  • סיכום והבנת הנקרא

    הכרטיס מגדיר הבנת טקסט וסיכום כמשימות מרכזיות שנבדקו במסגרת המחקר.

  • בסיס לכוונון נוסף

    נקודת מוצא למחקר שבו רוצים לקחת יכולות היסק ולהתאים אותן לצ'אט או למשימה מוגדרת.

איפה זה נופל

הוא לא מיועד לשילוב במוצרים. מייקרוסופט מציינת במפורש שהמודל לא עבר התאמה לשיחה, הוא רגיש מאוד להוראות מערכת שונות ועלול להמציא מידע. בגלל שהוא אומן על מידע סינתטי הוא גם סוחב את החסרונות וההטיות של המודלים שיצרו את המידע הזה, ומפגין פחות שיפור בלמידה מכמה דוגמאות. תחומים שלא כוסו טוב בדאטה הסינתטי, כמו קטעי קוד או מתמטיקה מסוימת, עלולים להוביל לתשובות שגויות.

אותה משפחה

Orca-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Orca-2-7b1,160

שאלות
נפוצות

אפשר להשתמש בו ישירות כצ'אטבוט?

לא. המודל לא עבר שום אימון מסוג RLHF או DPO כדי לנהל שיחה מתגלגלת, והוא תוכנן לפעול במענה בודד. מי שרוצה צ'אט יצטרך לבצע כוונון עדין בעצמו.

האם הוא מותר לשימוש במוצר מסחרי?

לא, הרישיון של מייקרוסופט מגביל אותו לסביבות מחקר בלבד. הכרטיס מדגיש שהוא לא נבדק לשימוש ביישומים מעשיים ואין לו רישיון מסחרי פתוח.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־48.5 גיגה בייט בפורמט float32 שמחולק ל־17 קבצים. כדי לטעון אותו כמו שהוא צריך כרטיס מסך רציני עם לפחות 48 גיגה בייט זיכרון וידאו, או שתצטרכו להמיר אותו עצמאית לדיוק נמוך יותר כדי לדחוף אותו לחומרה מקומית צנועה.

הוא רץ ישירות דרך ספריית transformers הרגילה של פייתון ומיועד למפתחים שרוצים לחקור את היכולות שלו או לבצע עליו אימון נוסף. אם אתם צריכים צ'אט חי למוצר ולא מתכוונים לאמן מודל משלכם, עדיף להשתמש ב־API מסחרי מוכן ולא להיכנס לתחזוקת תשתית כבדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/Orca-2-13b")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 48.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת Microsoft Research License לצורכי מחקר בלבד, לצד תנאי הרישיון של Llama 2. אין כאן היתר לשימוש מסחרי, ואי אפשר להטמיע אותו במוצר פעיל שמייצר הכנסות או משרת לקוחות.

הרישיון המלא בעמוד המודל ↗