GPT
הוספת כלי
I

internlm-chat-20b

קוד פתוח

internlmapache-2.02023-09-18

  • transformers
  • pytorch
  • internlm
  • feature-extraction
  • text-generation

גרסת שיחה בגודל ביניים של עשרים מיליארד פרמטרים. היא נבנתה עם שישים שכבות כדי לתת ביצועי הבנה וחשיבה של מודלים ענקיים בלי לנפח את הדרישות מעבר לכרטיס שרת בודד.

  • 4,096טוקנים בהקשר
  • 37.4 GBמשקל הקבצים
  • 225הורדות בחודש
  • 134לייקים

מה זה

המודל פותח על ידי מעבדת הבינה המלאכותית של שנחאי יחד עם סנסטיים, האוניברסיטה הסינית של הונג קונג ואוניברסיטת פודאן. הוא עבר אימון מקדים על יותר מ־2.3 טריליון טוקנים של אנגלית, סינית וקוד, ואחריו כוונון ייעודי לשיחה באמצעות הוראות ולמידה מחיזוקים. המבנה שלו עמוק מהמקובל לגודל כזה וכולל 60 שכבות, לעומת 32 או 40 שכבות במודלים נפוצים של שבעה עד שלושה עשר מיליארד פרמטרים.

במדדי ההערכה של אופן־קומפאס הוא עוקף מודלים פופולריים של 13 מיליארד פרמטרים כמעט בכל תחום. בבדיקות הבנה כמו CMRC ו־RACE הוא הציג פערים חדים לטובתו, ובמשימות היגיון ומתמטיקה כמו GSM8K הוא הגיע לרמה שמגרדת מודלים כבדים בהרבה כמו לאמה 65B. המפתחים מדווחים גם על יכולת הפעלת כלים מובנית ותמיכה בהרחבת חלון ההקשר.

מתאים ל

  • עוזרי שיחה באנגלית וסינית

    הוא עבר כוונון ייעודי ומציג ביצועי שפה והבנה גבוהים במיוחד בשתי השפות האלה.

  • שילוב כלים ומערכות חיצוניות

    הארכיטקטורה שלו מותאמת להפעלת שירותים חיצוניים וקריאות פונקציה מתוך השיחה.

  • פתרון בעיות היגיון וקוד

    במדדי GSM8K ו־HumanEval הוא מתעלה על מודלים מקבילים ומספק פתרונות מדויקים.

איפה זה נופל

חלון ההקשר הטבעי עומד על 4,096 טוקנים בלבד, והרחבה ל־16 אלף דורשת אקסטרפולציה בזמן ריצה שלא תמיד שומרת על יציבות. המפתחים מציינים במפורש שהמודל עלול לפלוט הטיות, אפליה ותוכן מזיק בגלל אופי הפעולה ההסתברותי שלו. בנוסף, חומרי האימון התמקדו באנגלית, סינית וקוד, כך שאין שום הבטחה או עדות ליכולת סבירה בעברית. לפני שילוב במוצר תצטרכו לבנות שכבת סינון פלט קפדנית ולבדוק היטב את איכות הטקסט בשפה שלכם.

אותה משפחה

internlm יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

internlm-chat-7b28,727 internlm-7b585 internlm-20b391

שאלות
נפוצות

איזה כרטיס מסך נחוץ כדי להריץ את המודל מקומית?

המשקלים תופסים מעל 37 גיגה בייט בזיכרון. תצטרכו מאיץ גרפי ייעודי של 48 גיגה בייט לפחות כמו A100, או פיצול על פני כמה כרטיסים. הרצה על חומרה ביתית רגילה תוביל לשגיאות מחסור בזיכרון.

האם אפשר להשתמש במודל הזה בתוך מוצר מסחרי?

כן, אבל זה דורש צעד בירוקרטי. הרישיון המסחרי ניתן בחינם, אך עליכם למלא טופס בקשה מקוון של המעבדה המפתחת כדי לקבל אישור רשמי.

איך המודל מתמודד עם טקסטים ארוכים מעבר ל־4,000 טוקנים?

חלון הבסיס הרשמי הוא 4,096 טוקנים. הכרטיס מציין שניתן להגיע עד 16 אלף טוקנים באמצעות הרחבה בזמן היקש, מה שדורש הגדרה ייעודית בריצה.

איך מריצים

כדי להריץ אותו צריך להוריד 17 קבצים במשקל כולל של 37.4 גיגה בייט. טעינה של המודל בספריית transformers חייבת להתבצע בפורמט bfloat16 או float16, אחרת הוא נטען כברירת מחדל ב־float32 וגורם לקריסת זיכרון מיידית. תצטרכו להפעיל גם את הפרמטר שמאפשר הרצת קוד מרוחק מהמאגר.

מבחינת חומרה, מודל כזה דורש מעבד גרפי מקצועי עם לפחות 40 עד 48 גיגה בייט זיכרון וידאו עבור הסקת מסקנות בסיסית, כמו A100 או זוג כרטיסים צרכניים חזקים. אם אין לכם שרת ייעודי כזה פנוי, העלויות וההתעסקות בהקמת התשתית המקומית יהיו יקרות ומסובכות בהרבה משימוש בשירות ענן מנוהל.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm-chat-20b")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 37.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד במאגר מופץ תחת רישיון אפאצ'י 2.0 המוכר, שמאפשר שימוש חופשי. משקלי המודל עצמם פתוחים לחלוטין לצורכי מחקר אקדמי. שימוש מסחרי מותר בחינם, אך דורש הגשת טופס בקשה רשמי למפתחים וקבלת אישור.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗