GPT
הוספת כלי
O

orca_mini_3b

קוד פתוח

pankajmathurcc-by-nc-sa-4.02023-06-22

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

מודל קומפקטי שמנסה לחקות תהליכי חשיבה של מודלים ענקיים בעזרת דאטהסטים מוסברים. מתאים למי שחייב להריץ משהו קל משקל על חומרה צנועה.

  • 3.4Bפרמטרים
  • 2,048טוקנים בהקשר
  • 25.5 GBמשקל הקבצים
  • 404הורדות בחודש

מה זה

הבסיס כאן הוא OpenLLaMA בגודל 3.4 מיליארד פרמטרים, שעבר אימון על שילוב של WizardLM, Alpaca ו־Dolly-V2 לפי שיטת המחקר של Orca. הרעיון היה לקחת הוראות מערכת מורכבות כדי ללמד אותו לנמק צעד אחר צעד כמו מודלים גדולים, ספציפית דרך פלטים של ChatGPT, ולא סתם לזרוק תשובות קצרות לשאלות.

בפועל, תוצאות המבחנים מראות פער ברור בין כוונות לביצועים. במבחני הבנת שפה כלליים כמו HellaSwag ו־Winogrande הוא מגרד את אזור ה־61 אחוז, אבל במבחני ידע רחב ויכולות חישוב הוא מתרסק. ציון של 26.79 ב־MMLU וציון של 0.08 בודד ב־GSM8K אומרים שהוא פשוט לא מסוגל לפתור בעיות מתמטיות או היגיון מורכב מעבר לטקסט בסיסי.

מתאים ל

  • ניסויי למידה על T4

    רץ ישירות בקולאב חינמי עם מחברת מוכנה, בלי להשקיע שקל בחומרה.

  • מחקר על זיקוק ידע

    בדיקת ההשפעה של דאטהסטים מוסברים על מודל בסיס קטן יחסית.

  • סיווג טקסטים פשוט באנגלית

    מתאים למשימות ניסוח או סיווג שלא דורשות ידע עובדתי עמוק.

איפה זה נופל

היוצר מבהיר שהמודל מייצר שגיאות עובדתיות, וציון ה־GSM8K של 0.08 מוכיח שאין לו שום הבנה מספרית. אסור לבנות עליו לשום משימה שדורשת דיוק, חישובים או אמינות מידע. בנוסף, הוא אומן רק על אנגלית, והכרטיס מזהיר מפורשות מפני פליטה של תכנים פוגעניים שהסתננו מהדאטהסטים הפתוחים.

אותה משפחה

orca-mini יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

orca_mini_v3_7b124 orca_mini_13b43 orca_mini_v2_7b41

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

לא. המודל הוגדר ואומן עבור השפה האנגלית בלבד, ואין לו תמיכה רשמית בעברית.

האם הוא מתאים לפתרון בעיות חישוב או קוד?

ממש לא. התוצאה שלו במבחן המתמטי עומדת על 0.08, מה שאומר שהוא יטעה כמעט בכל חישוב שתתנו לו.

איך מריצים

המשקל המקורי מגיע בפורמט float32 ותופס מעל 25 גיגה בייט, מה שמחייב זיכרון משמעותי רק בשביל לטעון אותו כמו שהוא. כדי לעבוד איתו בצורה הגיונית, חייבים להמיר אותו לחצי דיוק או לכמת אותו ל־4 ביט, ואז אפשר להריץ אותו בלי בעיה אפילו על כרטיס T4 פשוט דרך גוגל קולאב.

אם אתם לא חייבים מודל מקומי מסיבות של פרטיות מחמירה, אין הצדקה אמיתית להחזיק שרת בשבילו. מודל סגור מודרני ב־API יתן תוצאות טובות בהרבה, בהרבה פחות כסף על תשתיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="pankajmathur/orca_mini_3b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 25.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-sa-4.0, מה שאומר באופן חד משמעי שאין כאן אישור לשימוש מסחרי. מותר לחקור, לשנות וללמוד, אבל כל נגזרת חייבת לשתף את אותו הרישיון בדיוק. אם בניתם מוצר שמוכר מנויים או מייצר הכנסה, אתם לא יכולים להשתמש בו.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗