GPT
הוספת כלי
P

Platypus2-70B-instruct

קוד פתוח

garage-bAIndcc-by-nc-4.02023-08-04

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

המודל הזה ממזג בין שני אימוני המשך חזקים של לאמה 2 ומכוון לביצועים גבוהים במשימות היגיון ומדע. הוא פונה למי שמחפש יכולות מענה להוראות באנגלית בקנה מידה של שבעים מיליארד פרמטרים למחקר.

  • 69Bפרמטרים
  • 4,096טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 461הורדות בחודש

מה זה

מדובר במיזוג בין שני מודלים, Platypus2 שמתמחה בתחומי מדע והנדסה על בסיס מאגר Open-Platypus, לבין גרסת ההוראות של Upstage על בסיס לאמה 2. המטרה של השילוב הזה היא לתת מענה חד ומדויק להוראות מורכבות, עם דגש חזק על פתרון בעיות לוגיות, ידע כללי ומבחני שפה.

במדדי ההערכה הוא מציג ממוצע של 66.89 נקודות. הציונים בולטים במיוחד בבדיקות ידע והיגיון כללי, עם 87.94 במבחן HellaSwag ו־71.84 ב־ARC, לצד 70.48 ב־MMLU. לעומת זאת, במתמטיקה רב־שלבית הוא מתקשה משמעותית עם 40.56 בלבד ב־GSM8K, מה שמראה שההיגיון שלו עובד טוב יותר על שאלות עובדתיות ומדעיות רחבות מאשר על חישובים ארוכים.

מתאים ל

  • מחקר והשוואת מיזוגים

    הוא מציג דרך יעילה לחבר בין מודל מבוסס LoRA למודל הוראות אחר בלי לאבד ביצועים במבחני ידע.

  • מענה לשאלות מדע והנדסה

    האימון על Open-Platypus והציון במבחני היגיון הופכים אותו למתאים לבדיקת שאלות ידע מקצועי באנגלית.

  • ניתוח טקסטים מוגדרים

    הוא עוקב טוב אחרי תבנית ההוראות המוגדרת כל עוד הטקסט נכנס בתוך מגבלת ההקשר הקצרה.

איפה זה נופל

חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, שזה מעט מאוד לעבודה עם מסמכים ארוכים או שיחות ממושכות. בנוסף, האימון והבדיקות נעשו באנגלית בלבד, כך שאין כאן התאמה לשפות אחרות. התוצאה הנמוכה ב־GSM8K מעידה שאי אפשר לסמוך עליו בפתרון בעיות חישוביות עמוקות בלי בדיקה ידנית, והיוצרים מדגישים שהוא עלול לייצר תשובות לא מדויקות, מוטות או בעייתיות, כך שנדרשות בדיקות בטיחות מקיפות.

שאלות
נפוצות

אפשר להשתמש במודל הזה למוצר שאני מוכר ללקוחות?

לא. הרישיון הוא CC BY-NC 4.0 ומגביל את השימוש למטרות שאינן מסחריות בלבד. אם המוצר שלכם מסחרי, תצטרכו לחפש חלופה ברישיון פתוח שמתיר זאת במפורש.

איך צריך לנסח לו פניות כדי לקבל תשובה טובה?

הוא אומן על תבנית קבועה מראש. צריך להתחיל עם שורת הוראה, מתחתיה לשים את הבקשה, ולהוסיף שורת מענה שממנה המודל מתחיל להשלים את הפלט.

האם הוא מתאים לעיבוד של מסמכים משפטיים או ספרים שלמים?

ממש לא. חלון ההקשר שלו נעצר ב־4,096 טוקנים, שכוללים גם את הפרומפט וגם את התשובה. טקסטים ארוכים פשוט ייחתכו ולא ייכנסו לזיכרון העבודה שלו.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־257 גיגה בייט בפורמט float16, ומדובר על שבעים מיליארד פרמטרים. כדי להריץ אותו במבנה המקורי צריך שרת עם לפחות שני כרטיסי A100 של 80 גיגה, או לחלופין לבצע קוונטיזציה לארבעה ביט כדי לדחוס אותו לכרטיסים צנועים יותר. את ההערכות המקוריות של המודל ביצעו כרטיסי A100 בודדים רק בעזרת תהליכי בדיקה ייעודיים.

אם אין לכם תשתית ענן כבדה או תחנת עבודה ייעודית מרובת כרטיסים, להרים את המפלצת הזו מקומית זה כאב ראש יקר. במקרה כזה, שימוש בממשקי שירות קיימים שמריצים מודלים בגודל הזה חוסך את כל התחזוקה והחומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="garage-bAInd/Platypus2-70B-instruct")
print(pipe("שלום"))

הקבצים

41 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המודל הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. אתם יכולים לחקור אותו, להריץ ניסויים פנימיים או לבנות עליו הדגמות אקדמיות, אבל אסור לשלב אותו בשום שירות בתשלום, מוצר מסחרי או פעילות שמייצרת הכנסה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗