GPT
הוספת כלי
I

internlm2-chat-7b

קוד פתוח

internlmother2024-01-10

  • transformers
  • safetensors
  • internlm2
  • text-generation
  • conversational

גרסת שיחה בקנה מידה של 7.7 מיליארד פרמטרים שמתמקדת בהקשרים ארוכים ופתרון משימות קוד. מתאים למי שבונה סוכן תוכנה וצריך חלון עבודה גדול על חומרה מקומית נגישה.

  • 7.7Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.4 GBמשקל הקבצים
  • 67,902הורדות בחודש

מה זה

מדובר במודל שמכוון ישירות לתרחישי שיחה, פקודות מורכבות והפעלת כלים. הדגש העיקרי כאן הוא תמיכה בטקסטים ארוכים במיוחד, כולל משימות איתור מידע במסמכים כבדים, בלי לאבד את ההקשר בדרך. הוא נשען על 32 שכבות ומגיע במשקל של 14.4 גיגה בייט.

במדדי ההערכה של OpenCompass המודל מציג תוצאות טובות לגודלו, עם 59.8 ב־HumanEval וציון של 70.7 ב־GSM8K. המשמעות בפועל היא שהוא מתמודד יפה עם בעיות הגיון מתמטיות וכתיבת פונקציות בסיסיות, לפעמים אפילו מעל גרסת הבסיס שלו, אבל עדיין מפגר מאחורי מודלי ענק בכל הקשור לידע כללי רחב או הבנה מורכבת במיוחד שנמדדת ב־MMLU.

מתאים ל

  • סוכן לפיתוח קוד

    התוצאות במבחני קוד והיכולת להפעיל כלים מאפשרות לו להשתלב באוטומציה של כתיבת סקריפטים.

  • ניתוח מסמכים טכניים

    חלון העבודה הנרחב מתאים לשליפת מידע ותמצות מתוך קבצי לוג ארוכים ומפרטים מורכבים.

  • עוזר שיחה פנימי

    משקל של 14.4 גיגה בייט מאפשר פריסה בארגון על שרת פרטי לשמירה על נתונים רגישים.

איפה זה נופל

היוצרים מצהירים בגלוי שהמודל נוטה לייצר פלטים לא צפויים, טעויות עובדתיות ותוכן מוטה או פוגעני עקב אופיו ההסתברותי וממדיו הקומפקטיים. בבדיקות מתמטיקה קשות יותר כמו MATH הוא נעצר על ציון של 23 בלבד, כך שלא כדאי להסתמך עליו בחישובים מורכבים ללא מעטפת בדיקה חיצונית. בנוסף, חובה להפעיל trust remote code בזמן הטעינה, דרישה שמחייבת בדיקת אבטחה של קוד המקור לפני שילוב בסביבה פנימית.

אותה משפחה

internlm2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

internlm2-7b21,987 internlm2-chat-20b19,483 internlm2-20b19,464

שאלות
נפוצות

האם המודל יכול לרוץ על כרטיס מסך ביתי?

כן, כרטיס עם 16 גיגה בייט זיכרון יספיק לטעינה ראשונית ב־float16. אם תרצו לנצל חלונות הקשר ארוכים מאוד תצטרכו כרטיס של 24 גיגה בייט ומעלה כדי שהזיכרון לא יקרוס.

מותר להטמיע אותו במערכת מסחרית בלי לשלם?

השימוש המסחרי מוגדר כחינמי על פי המפתחים, אך הוא אינו אוטומטי. חובה למלא טופס בקשה מקוון ולהמתין לאישור רשמי של הצוות לפני שמשחררים מוצר.

איך מריצים

כדי להריץ אותו מקומית ב־bfloat16 או float16 תצטרכו כרטיס מסך יחיד עם לפחות 16 עד 24 גיגה בייט של זיכרון גרפי, אחרת תקבלו שגיאת זיכרון מיד עם הטעינה. שימוש בספריות כמו vLLM או LMDeploy מייצר שרת מקומי שמתממשק ישירות לפרוטוקול של OpenAI ומקל על חיבור למערכות קיימות.

אם כל מה שאתם צריכים זה שיחה קצרה פה ושם בלי הקשרים של עשרות אלפי טוקנים, תשתית ענן מנוהלת דרך API תחסוך את עלויות החומרה. ריצה עצמאית שווה את ההשקעה בעיקר כשמריצים משימות רצופות של עיבוד מסמכים או כשנדרשת פרטיות מלאה למידע.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm2-chat-7b")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד בפרויקט מופץ תחת רישיון Apache 2.0 סטנדרטי, אבל משקלי המודל עצמם סגורים תחת רישיון מותאם אישית. מחקר אקדמי חופשי לגמרי, אך שימוש מסחרי דורש הגשת טופס בקשה רשמי ליוצרים וקבלת אישור מראש, כך שאי אפשר פשוט לארוז אותו במוצר מסחרי בלי אישור.

הרישיון המלא בעמוד המודל ↗