GPT
הוספת כלי
O

OpenELM-1_1B-Instruct

קוד פתוח

appleapple-amlr2024-04-12

  • transformers
  • safetensors
  • openelm
  • text-generation
  • custom_code

אפל שחררה מודל הוראות קטן ששוקל שני גיגהבייט בלבד. הוא פונה למי שרוצה להריץ בינה מלאכותית מקומית על חומרה חלשה בלי לגעת בשרתים מרוחקים.

  • 1.1Bפרמטרים
  • 2.0 GBמשקל הקבצים
  • 1,396,050הורדות בחודש
  • 76לייקים

מה זה

אפל בנתה את המשפחה הזו עם חלוקת פרמטרים שונה בין השכבות, במטרה לסחוט יותר דיוק מכל משקל בלי להגדיל את נפח החישוב. הגרסה הזו כוללת 1.1 מיליארד פרמטרים ועברה אימון ייעודי להבנת הוראות, אחרי שאומנה על כ־1.8 טריליון טוקנים ממקורות רשת פתוחים כמו RefinedWeb ו־Dolma.

במבחני הביצועים, כוונון ההוראות שיפר את הציון הממוצע ב־Zero-Shot מ־63.44 ל־65.50, ובמבחן BoolQ הוא מזנק מ־63.58 ל־70.00. עם זאת, במבחני ידע כללי עמוקים כמו MMLU הוא עומד על 25.65 בלבד, ציון שקרוב מאוד לניחוש אקראי וממחיש שאי אפשר לצפות ממנו לתפקד כאנציקלופדיה.

מתאים ל

  • עוזר מקומי למשימות קצרות

    מבצע ניסוח מחדש או מיון פקודות פשוטות באנגלית ישירות על המכשיר בלי חיבור לרשת.

  • מחקר על מודלים קטנים

    מאפשר לבדוק את ארכיטקטורת שכבות הפרמטרים של אפל מול משקלים פתוחים אחרים.

  • אימות מהיר עם speculative

    משמש כמודל מטרה קל משקל בבדיקות של שיטות האצה ליצירת טקסט.

איפה זה נופל

היוצרים מדגישים שהמודל שוחרר ללא מנגנוני בטיחות או סינון פלט, ולכן הוא נוטה לפלוט מידע שגוי, פוגעני או מוטה אם לא בונים סביבו שכבת הגנה. התוצאה שלו ב־MMLU נמוכה מאוד, מה שאומר שהוא נכשל במשימות הדורשות ידע עולם רחב. בנוסף, חומרי האימון מבוססים על דאטה גלובלי באנגלית בלבד, כך שאין לו שום הבנה בעברית או בהקשרים מקומיים.

שאלות
נפוצות

האם אפשר להשתמש בו לניתוח טקסטים בעברית?

לא. מאגרי המידע שלו כוללים מקורות כמו RefinedWeb ו־Dolma שהם כמעט לחלוטין באנגלית. הוא לא יבין הוראות בעברית וייצר פלט משובש.

איזה מחשב צריך בשביל להריץ אותו?

המשקל שלו הוא 2.0 GB בלבד. כל מחשב עם 4 עד 8 גיגהבייט זיכרון פנוי או מעבד גרפי צנוע יכול לטעון אותו דרך transformers בלי בעיה מיוחדת.

איך מריצים

המודל מגיע בדיוק bfloat16 ותופס בערך שני גיגהבייט של זיכרון, כך שאפשר להריץ אותו ישירות דרך ספריית transformers על כרטיס מסך בסיסי או מחשב מקומי פשוט. הקוד של אפל מציע להגדיר repetition penalty של 1.2 כדי למנוע לולאות טקסט, ותומך בטכניקות כמו speculative generation עם מודל עזר קטן יותר כדי לחסוך בזמני יצירה.

אם אתם מחפשים מודל שיענה על שאלות מורכבות, ינתח מסמכים ארוכים או יתמודד עם עברית שאינה קיימת במאגרי האימון שלו, אין טעם להריץ אותו לבד ועדיף לשלם לפי קריאה ל־API של מודל מסחרי גדול.

from transformers import pipeline

pipe = pipeline("text-generation", model="apple/OpenELM-1_1B-Instruct")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apple-amlr של אפל למחקר. הרישיון מיועד בעיקר לניסויים ומחקר אקדמי פתוח, ולא מתאים להטמעה מסחרית ישירה בתוך מוצר בלי בדיקה משפטית של תנאי השימוש וזכויות מאגרי המידע שעליהם אומן.

הרישיון המלא בעמוד המודל ↗