internlm2-7b

מה זה

מדובר במודל בסיס פתוח מהדור השני של InternLM, שאינו גרסת צ׳אט אלא מודל טקסט גולמי שעבר המשך אימון על קורפוס ייעודי. לפי המפתחים, היתרון המרכזי שלו הוא טיפול בקלטים ארוכים של עד 200,000 תווים ובדיקות של מציאת מחט בערימת שחת, לצד חלון עבודה רשמי של 32,768 טוקנים.

במבחני ביצועים של OpenCompass הוא מציג ציונים סבירים לגודל שלו, כמו 65.8 ב־MMLU ו־70.8 ב־GSM8K לחישובים. יחד עם זאת, ביצירת קוד גולמית הוא מגיע רק ל־43.3 ב־HumanEval, כך שבלי כוונון נוסף או מעבר לגרסת ה־Chat הוא יתקשה לעמוד במשימות פיתוח מורכבות.

מתאים ל

• בסיס לאימון מותאם

  נקודת מוצא טובה לכוונון על נתונים ארגוניים פרטיים בזכות המשך אימון קודם על קורפוס ייעודי.

• ניתוח מסמכים ארוכים

  מתאים לעיבוד טקסטים של עשרות אלפי תווים בזכות יכולת מוכחת של שליפת פרטים מתוך קלט מסיבי.

• השלמת טקסט חופשי

  מבצע המשך כתיבה ויצירת פסקאות רציפות ללא צורך במבנה שיחה מוגדר מראש.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר יישור מול בני אדם. הוא מייצר המשכי טקסט הסתברותיים ולא יודע לענות לשאלות ישירות בלי פרומפטים מותאמים. המפתחים מצהירים מראש שהוא עלול לפלוט טקסטים בעייתיים, פוגעניים או מוטים. בנוסף, בביצוע מתמטיקה מורכבת במבחן MATH הוא מקבל 20.2 בלבד, שזה נתון חלש שמחייב בדיקה קפדנית לפני שמסתמכים על החישובים שלו.

אותה משפחה

internlm2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים מגיעים בפורמט bfloat16 ותופסים 14.4 גיגה-בייט. כדי לטעון אותו לזיכרון תצטרכו כרטיס מסך בודד עם לפחות 16 עד 24 גיגה-בייט VRAM, במיוחד אם אתם מתכוונים לנצל את חלון ההקשר הגדול שמנפח במהירות את זיכרון ה־KV cache.

המודל רץ ישירות דרך ספריית transformers של פייתון. אם אתם מחפשים מענה מידי לשאלות משתמש או בוט לשיחה, אין טעם להריץ את הגרסה הזו לבד, עדיף לפנות לגרסת ה־Chat שעברה אימון ייעודי בהוראות או לצרוך מודל קיים דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm2-7b")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin5.5 GB
• tokenizer.model1.5 MB
• modeling_internlm2.py81.0 KB
• pytorch_model.bin.index.json18.2 KB
• README.md14.1 KB
• configuration_internlm2.py8.8 KB
• tokenization_internlm2.py8.8 KB
• tokenization_internlm2_fast.py7.8 KB
• .gitattributes1.7 KB
• config.json840 B
• tokenizer_config.json393 B
• generation_config.json132 B
• special_tokens_map.json95 B

הרישיון

הקוד פתוח תחת רישיון Apache-2.0, אך משקלי המודל מוגדרים תחת תנאים נפרדים. המחקר האקדמי חופשי לחלוטין, ושימוש מסחרי מותר בחינם אך דורש הגשת טופס בקשה רשמי ואישור מהיוצרים. אי אפשר פשוט להטמיע אותו במוצר מסחרי בלי לעבור את הרישום הזה.

הרישיון המלא בעמוד המודל ↗