GPT
הוספת כלי
I

internlm2-20b

קוד פתוח

internlmother2024-01-12

  • transformers
  • pytorch
  • internlm2
  • text-generation
  • custom_code

גרסת בסיס מורחבת של עשרים מיליארד פרמטרים שמתמקדת בהקשר ארוך במיוחד ויכולות הסקה. הבחירה בה מתאימה למי שבונה פתרונות מותאמים אישית וצריך נקודת מוצא חזקה יותר ממודל 7B רגיל.

  • 32,768טוקנים בהקשר
  • 37.0 GBמשקל הקבצים
  • 19,464הורדות בחודש
  • 59לייקים

מה זה

מדובר במודל בסיס שעבר אימון מקדים נוסף על גבי גרסת ה־base הרגילה, באמצעות קורפוס ייעודי לתחומים ספציפיים. הוא מיועד למשימות השלמת טקסט כלליות ואינו כולל אימון שיחה או התאמה להוראות, בניגוד לגרסאות ה־chat של אותה משפחה. החוזק המרכזי שלו הוא טיפול בטקסטים ארוכים, כשהיוצרים מדווחים על יכולת שליפה כמעט מושלמת מתוך קלט של עד 200,000 תווים ובדיקות LongBench ו־L-Eval.

במדדי ביצועים מול גרסאות 7B של הסדרה, המודל מציג קפיצה ברורה ביכולות חשיבה מורכבות. הוא מגיע לציון 72.1 במבחן BBH ולתוצאה של 76.1 במתמטיקה בסיסית ב־GSM8K, מעל רמת ה־70 של דגמי ה־7B ומעט מעל ChatGPT במבחן AGIEval עם 53.0 לעומת 39.9. עם זאת, במבחני קוד כמו HumanEval הוא נעצר ב־48.8, רחוק מביצועי גרסאות ה־chat המיושרות ומודלים מובילים אחרים.

מתאים ל

  • התאמה לתחום ספציפי

    משמש כבסיס מתקדם לאימון Fine-Tuning על דאטה פנימי, במיוחד למשימות חשיבה והסקה.

  • עיבוד מסמכים ארוכים

    מתאים לשליפת מידע וניתוח טקסטים ארוכים במיוחד הודות לתמיכה בקלטים של עד 200 אלף תווים.

  • משימות מתמטיקה והיגיון

    מציג ציונים חזקים של 72.1 ב־BBH ו־76.1 ב־GSM8K עבור חישובים ופתרון בעיות לוגיות ללא צ'אט.

איפה זה נופל

המודל אינו מיושר למשתמשי קצה. הוא מייצר השלמות הסתברותיות ישירות, ולפי התיעוד הרשמי עלול לפלוט הטיות, תוכן פוגעני או תשובות מפלות ללא מנגנוני סינון מובנים. בנוסף, יכולות יצירת הקוד שלו נמוכות באופן ניכר מגרסאות הצ'אט, מה שהופך אותו לבחירה גרועה לתכנות ישיר ללא אימון נוסף.

אותה משפחה

internlm2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

internlm2-chat-7b67,902 internlm2-7b21,987 internlm2-chat-20b19,483

שאלות
נפוצות

האם המודל מתאים לשימוש כעוזר אישי או צ'אטבוט?

לא באופן ישיר. מדובר במודל בסיס שנועד להמשך טקסט ולא עבר יישור התנהגותי או שיחותי, ולכן לצ'אטבוט עדיף לקחת את גרסת internlm2-chat-20b.

מה דרוש כדי להשתמש במודל במוצר מסחרי?

הרישיון מאפשר שימוש מסחרי ללא עלות כספית, אך הוא מותנה במילוי טופס בקשה ייעודי מול Shanghai AI Laboratory וקבלת אישור רשמי לפני ההפצה.

האם אפשר להריץ אותו על כרטיס RTX 3090 או 4090 בודד?

לא בדיוק המקורי. משקל המודל לבדו הוא 37 גיגה בייט, כך שהוא יחרוג מ־24 הגיגה בייט של הכרטיס, אלא אם כן תבצעו קוונטיזציה ל־4 או 8 ביט.

איך מריצים

המשקלים תופסים 37 גיגה בייט בפורמט bfloat16 על פני 16 קבצים, ונטענים ישירות דרך ספריית transformers. כדי להחזיק את המודל בזיכרון תצטרכו לפחות מאיץ גרפי בודד עם 48 גיגה בייט VRAM כמו A6000 או A40, או לחלופין שני כרטיסי 24 גיגה בייט, עוד לפני חישוב הזיכרון הנדרש להפעלת חלון ההקשר המלא.

ההבדל המשמעותי הוא שזו אינה גרסת ה־chat, כך שהיא לא תענה להוראות כמו בוט אלא רק תמשיך טקסט קיים. אם המטרה היא להרים צ'אט מהיר או שאין לכם כוח מחשוב ייעודי, עדיף לפנות ל־API מנוהל או לגרסאות ה־Chat-20B שעברו יישור בהוראות וב־RLHF.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm2-20b")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 37.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד ברישיון Apache-2.0, אך משקלי המודל אינם חופשיים לחלוטין ומוגדרים כ־other. מחקר אקדמי מותר ללא הגבלה, אך שימוש מסחרי, למרות היותו חינמי, דורש מילוי טופס בקשה רשמי מול הגוף המפתח וקבלת אישור מראש.

הרישיון המלא בעמוד המודל ↗