GPT
הוספת כלי
O

OpenELM-270M

קוד פתוח

appleapple-amlr2024-04-12

  • transformers
  • safetensors
  • openelm
  • text-generation
  • custom_code

שפה קטן במיוחד שרץ כמעט על כל חומרה. מתאים למי שמחפש מודל בסיס זעיר לניסויי מחקר או עזר לחיזוי טוקנים בלי לשלם על שרתי ענק.

  • 272Mפרמטרים
  • 1.0 GBמשקל הקבצים
  • 3,273הורדות בחודש
  • 77לייקים

מה זה

מדובר במודל שפת בסיס עם 271,527,168 פרמטרים שפותח על ידי אפל. הוא בנוי על ארכיטקטורת שנאי שמשנה את הקצאת הפרמטרים בכל שכבה במקום לחלק אותם שווה בשווה, במטרה לסחוט יותר דיוק מנפח זיכרון קטן. המודל אומן על 1.8 טריליון טוקנים ממאגרים ציבוריים כמו RefinedWeb ו־Dolma.

התוצאות במבחנים מראות בדיוק את הגודל שלו. ציון של 25.72 ב־MMLU אומר שהוא מנחש ברמה של הטלת מטבע במבחני ידע כללי מורכבים. מנגד, במשימות פשוטות יותר כמו SciQ הוא מגיע ל־84.70. זה לא כלי לשיחה חכמה, אלא מנוע טקסט בסיסי שמשלים משפטים ומציג הבנה תחבירית ראשונית בלבד.

מתאים ל

  • עזר לחיזוי טוקנים

    משמש כמודל קל לצד מודל ענק להאצת מהירות יצירת טקסט באמצעות ניחוש מוקדם.

  • מחקר על מודלים זעירים

    מתאים לבדיקת שיטות אימון וארכיטקטורות שכבות חדשות על חומרה חלשה.

  • השלמת טקסט מקומית

    יושב ישירות על מכשיר קצה ומבצע השלמת מילים בסיסית בלי חיבור לרשת.

איפה זה נופל

היוצרים כותבים במפורש שהמודל מופץ ללא מנגנוני בטיחות כלל. הוא עלול לפלוט מידע שגוי, מוטה או פוגעני. במבחני הבנה כמו ARC-c הוא מגרד 26.45 נקודות, כך שאין כאן יכולת הסקה לוגית אמינה. זו גרסת הבסיס ולא גרסת ה־Instruct, ולכן הוא לא עוקב אחרי הוראות אלא רק ממשיך טקסט קיים.

אותה משפחה

OpenELM יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OpenELM-270M-Instruct1,008 OpenELM-3B810 OpenELM-450M-Instruct700 OpenELM-3B-Instruct559 OpenELM0

שאלות
נפוצות

האם המודל הזה יודע לנהל שיחה כמו צ'אט?

לא. זו גרסת הבסיס של המודל ולא גרסת ההוראות, ולכן הוא רק מנחש את הטוקנים הבאים בטקסט. אם תכתבו לו שאלה, הוא לרוב ימשיך אותה בשאלות דומות במקום לענות. לשיחה צריך להשתמש בגרסת ה־Instruct או לאמן אותו בעצמכם.

האם אפשר להריץ אותו על לפטופ רגיל ללא כרטיס מסך ייעודי?

כן. המשקל הכולל של הקבצים הוא ג'יגה בייט אחד בלבד, וכמות הפרמטרים נמוכה מאוד, 272 מיליון. מעבד רגיל של מחשב נייד מסוגל להריץ אותו דרך ספריית transformers בזיכרון הפנימי בלי שום כרטיס גרפי כבד.

איך מריצים

כדי להריץ אותו צריך התקנה סטנדרטית של ספריית transformers עם סקריפט הפעלה בפייתון, ומעבירים טוקן גישה של Hugging Face. הקבצים תופסים ג'יגה בייט בודד בפורמט float32, כך שכל מעבד ביתי מודרני או כרטיס מסך בסיסי מריצים אותו בלי בעיה.

אפל מדגימה שימוש בו כמודל מסייע ליצירת טקסט ספקולטיבית לצד מודלים גדולים יותר. אם אתם צריכים תשובות עמוקות לשאלות משתמשים, עדיף לקרוא ל־API חיצוני, כי המודל הזה דורש אימון נוסף כדי להתנהג כמו צ'אטבוט ולא סתם להשלים מילים.

from transformers import pipeline

pipe = pipeline("text-generation", model="apple/OpenELM-270M")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון נקרא apple-amlr, רישיון קוד פתוח ייעודי של אפל למחקר. הדאטהסטים שעליהם אומן כוללים תנאים משלהם, והחברה מציינת לבדוק אותם בנפרד. אם אתם בונים מוצר מסחרי סגור, צריך לקרוא היטב את תנאי הרישיון של אפל כדי לוודא שאינו מגביל הפצה מסחרית ישירה.

הרישיון המלא בעמוד המודל ↗