GPT
הוספת כלי
O

OpenOrca-Platypus2-13B

קוד פתוח

Open-Orcacc-by-nc-4.02023-08-11

  • transformers
  • pytorch
  • llama
  • text-generation
  • en

שילוב משקלים שמחבר את יכולות ההסקה של פלטיפוס עם מאגר ההוראות של אופן אורקה. הוא מתאים למי שמחפש מודל 13B בקוד פתוח עם דגש מיוחד על פתרון בעיות לוגיות.

  • 4,096טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 165הורדות בחודש
  • 224לייקים

מה זה

מדובר במיזוג ישיר בין שני מודלים מבוססי Llama 2: הדגם של Platypus2 שאומן על תחומי מדעים וחשיבה לוגית, והגרסה של Open-Orca שאומנה על דאטהסט הוראות מבוסס GPT-4. החיבור הזה נועד לחזק את התגובות במשימות שמצריכות פירוק בעיות שלב אחרי שלב, בלי לאבד את היכולת לענות להנחיות טקסט כלליות.

במבחני הביצועים הוא מציג שיפור ניכר במבחני היגיון כמו AGIEval, שם הוא עוקף את דגם הבסיס בעיקר בזכות הצלחה בשאלות לוגיקה ממבחני LSAT. עם ציון של 59.5 ב־MMLU ו־83.19 ב־HellaSwag, הוא עומד יפה מול מודלים אחרים בסדר הגודל שלו ומספק ביצועים יציבים בהבנת שפה והקשר.

מתאים ל

  • פתרון בעיות לוגיות

    המודל מציג ביצועים משופרים בניתוח לוגי ובשאלות מבחן מורכבות באנגלית בזכות אימון ה־STEM שלו.

  • ביצוע פקודות טקסט

    דאטהסט ההוראות של Open-Orca מאפשר לו לעקוב בדיוק אחרי הנחיות מובנות ולספק תשובות מפורטות.

  • ניסויי מחקר ומיזוגים

    בסיס טוב לבדיקת השפעת שילוב משקלים על ביצועי מודלים של 13 מיליארד פרמטרים.

איפה זה נופל

המגבלה הכי בולטת היא השפה: האימון והבדיקות נעשו כולם באנגלית בלבד. אם תפנו אליו בעברית תקבלו תוצאות חלשות ולא עקביות, כך שהוא לא מתאים לעיבוד שפה מקומית. בנוסף, חלון ההקשר עומד על 4,096 טוקנים בלבד, מה שמקשה על עבודה עם מסמכים ארוכים מאוד. כפי שמצוין בדף המודל, מדובר במערכת שעלולה להמציא עובדות או לפלוט תוכן מוטה, וציון ה־TruthfulQA שלו עומד על 52.69 בלבד, מה שמחייב אימות קפדני של התשובות.

שאלות
נפוצות

האם המודל מבין ומייצר עברית ברמה טובה?

לא. המודל אומן ונבדק על דאטה באנגלית בלבד. פניות בעברית יובילו לשגיאות תחביר, חוסר הבנה והזיות, כך שלא מומלץ לבנות עליו לפרויקטים בעברית.

אפשר להשתמש בו במוצר מסחרי של החברה?

לא, הרישיון הוא cc-by-nc-4.0 שמונע כל שימוש מסחרי. כדי להוציא מוצר לשוק תצטרכו לבחור במודל חלופי עם רישיון מסחרי מתאים כמו Llama 2 נקי.

איך מריצים

המשקלים תופסים מעל 24 גיגה בייט בפורמט float16, כך שלהרצה מקומית מלאה צריך כרטיס מסך עם לפחות 30 עד 40 גיגה בייט זיכרון גרפי, כמו כרטיס A100 או שני כרטיסי 24GB. אם המטרה היא להריץ על חומרה צנועה יותר בשרת או במחשב מקומי, קוונטיזציה של המשקלים היא חובה כדי לדחוס אותו לזיכרון קטן יותר.

אם אין לכם תשתית עיבוד ייעודית שרצה ברציפות, להקים שרת רק בשבילו יעלה משמעותית יותר מאשר לפנות למודל דרך שירות ענן או API מסחרי חיצוני. הרצה עצמית שווה את הטרחה רק כשחייבים שליטה מלאה על המידע והתהליך.

from transformers import pipeline

pipe = pipeline("text-generation", model="Open-Orca/OpenOrca-Platypus2-13B")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המודל הוא cc-by-nc-4.0, בגלל משקלי הבסיס של פלטיפוס. המשמעות פשוטה: אסור להשתמש במודל הזה לכל מטרה מסחרית או להטמיע אותו במוצר שמייצר הכנסה. הוא מיועד למחקר, ניסויים ולמידה עצמית בלבד.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗