GPT
הוספת כלי
O

OpenELM-270M-Instruct

קוד פתוח

appleapple-amlr2024-04-12

  • transformers
  • safetensors
  • openelm
  • text-generation
  • custom_code

מודל שפה זעיר של אפל שמכוון להרצה מקומית על חומרה חלשה במיוחד. הוא שוקל חצי גיגהבייט בלבד ועבר התאמה להוראות.

  • 272Mפרמטרים
  • 518 MBמשקל הקבצים
  • 1,008הורדות בחודש
  • 145לייקים

מה זה

אפל בנתה את המשפחה הזו עם חלוקת פרמטרים שונה בכל שכבה כדי להוציא יותר דיוק מרוחב פס מוגבל. המודל הספציפי הזה הוא הקטן בחבורה, עם 272 מיליון פרמטרים בלבד, והוא אומן על כמעט 1.8 טריליון טוקנים ממאגרים ציבוריים מוכרים כמו RefinedWeb ו־Dolma.

מבחני הביצועים מראים בדיוק מה מקבלים בגודל הזה. ב־MMLU גרסת ה־Instruct מגיעה לציון של 26.70 בלבד, שזה כמעט ניחוש אקראי במבחן רב-ברירה, וב־ARC-c היא עומדת על 32.51. הוא כן מגיע ל־70.78 ב־PIQA, מה שאומר שהוא מחזיק קשרים בסיסיים של ידע פיזי ואינטואיטיבי, אבל יכולות ההסקה המורכבות שלו כמעט לא קיימות בהשוואה למודלים גדולים יותר בסדרה שמגיעים ל־3 מיליארד פרמטרים.

מתאים ל

  • מחקר על מודלים זעירים

    בדיקת ארכיטקטורת שכבות יעילה במשאבי מחשוב מינימליים.

  • מודל עזר ל־speculative

    יצירת טוקנים מהירה לטובת מודל מטרה גדול יותר.

  • משימות סיווג קלות מקומית

    מיון טקסטים קצר על מכשירי קצה ללא חיבור רשת.

איפה זה נופל

המודל הזה חלש מאוד בכל משימה שדורשת הבנה עמוקה או ידע עובדתי. ציון של 26.70 ב־MMLU ו־38.72 בלבד ב־TruthfulQA מעידים שהוא נוטה להזות בקלות, לייצר טעויות עובדתיות ולא להבין הוראות מורכבות. אפל מציינת במפורש שהאימון נעשה ללא מנגנוני בטיחות וסינון מובנים, ולכן הוא עלול לפלוט תוכן פוגעני, מוטה או שגוי לחלוטין אם לא בונים סביבו שכבת סינון עצמאית.

אותה משפחה

OpenELM יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OpenELM-270M3,273 OpenELM-3B810 OpenELM-450M-Instruct700 OpenELM-3B-Instruct559 OpenELM0

שאלות
נפוצות

האם המודל תומך בעברית?

המודל אומן על מאגרי רשת גלובליים באנגלית כמו RefinedWeb ו־Dolma. עקב הגודל המזערי של 270 מיליון פרמטרים, היכולת שלו לעבד או לייצר עברית תקינה כמעט אפסית ולא הייתי בונה עליו לשום שימוש בשפה הזו.

איזה מחשב צריך כדי להריץ אותו מקומית?

כל מחשב מודרני מספיק בהחלט. הקבצים שוקלים 518 מגהבייט בלבד, כך שאפשר לטעון אותו על זיכרון RAM רגיל של לפטופ סטנדרטי בלי שום צורך בכרטיס מסך ייעודי.

איך מריצים

טוענים אותו עם ספריית transformers של פייתון דרך סקריפט ייעודי, כאשר צריך לספק טוקן גישה של Hugging Face. בגלל המשקל הקליל של 518 מגהבייט בדיוק bfloat16, אפשר להריץ אותו ישירות על מעבד של לפטופ פשוט או על כרטיס גרפי בסיסי ביותר בלי להרגיש עומס על הזיכרון.

היוצרים ממליצים לשלב איתו שיטות כמו speculative decoding או lookup tokens כדי להאיץ את תהליך יצירת הטקסט. אם אתם צריכים תשובות חכמות, ידע עולם רחב או ניתוח מורכב, אין שום הגיון לנסות להריץ אותו לבד, ועדיף לשלם גרושים ל־API של מודל ענן גדול.

from transformers import pipeline

pipe = pipeline("text-generation", model="apple/OpenELM-270M-Instruct")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 518 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא apple-amlr, רישיון מחקר ייעודי של אפל. הוא מיועד למחקר ולניסויים פתוחים, אך אינו רישיון קוד פתוח סטנדרטי כמו Apache או MIT, ולכן אי אפשר פשוט להטמיע אותו במוצר מסחרי בלי לבדוק היטב את תנאי ההסכם המשפטיים של אפל.

הרישיון המלא בעמוד המודל ↗