internlm-chat-7b

מה זה

המודל מציע שילוב בין בסיס נתונים רחב לבין יכולות שיחה ומענה על שאלות. במבחני OpenCompass מיולי 2023 הוא הציג ציונים טובים יחסית לתקופתו מול מודלים אחרים בקטגוריית 7B, כמו 50.8 בבחינת MMLU וציון של 75.2 ב־CommonSenseQA, מה שמצביע על יכולת טובה בניתוח שאלות יומיומיות והבנת הנקרא באנגלית וסינית.

במבחני קוד ומתמטיקה מורכבת התמונה צנועה בהרבה. עם 14.0 בלבד ב־HumanEval וציון נמוך של 6.4 ב־MATH, ברור שהוא לא מיועד לשמש כעוזר פיתוח או לפתרון בעיות חישוביות עמוקות, אלא בעיקר לעיבוד טקסט כללי וניהול אינטראקציות שיחה.

מתאים ל

• בוט שיחה מקומי

  מתאים לדיאלוגים קצרים וכלליים בסביבה מקומית בזכות אימון ייעודי לצ'אט על 7 מיליארד פרמטרים.

• הבנת טקסט ושאלות ידע

  מציג ציון של 75.2 ב־CommonSenseQA, ולכן מתאים לשליפת תשובות מתוך ידע כללי מובנה.

• עיבוד טקסט באנגלית ובסינית

  המודל אומן והוערך בהרחבה על בנצ'מרקים דו־לשוניים כמו C-Eval ו־MMLU.

איפה זה נופל

היוצרים מציינים במפורש שהמודל עלול לייצר פלטים בלתי צפויים, הטיות ותוכן פוגעני עקב אופיו ההסתברותי ומגבלות גודלו. חלון ההקשר במטא־דאטה מוגבל ל־2,048 טוקנים, מה שחוסם אפשרות לעבד מסמכים ארוכים או לנהל שיחות ממושכות בלי לאבד את ההקשר. בנוסף, יכולות הקוד והמתמטיקה שלו חלשות מאוד, כך שאסור להסתמך עליו למשימות אוטומציה טכניות, ואין שום תיעוד לתמיכה בעברית.

אותה משפחה

internlm יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טעינת המשקלים מתבצעת דרך ספריית transformers הרגילה, אבל חובה להפעיל את trust_remote_code כדי להריץ את הקוד המותאם אישית של הארכיטקטורה. בקבצים בנפח כולל של 13.6 גיגה־בייט בדיוק float16, תצטרכו כרטיס מסך עם לפחות 16GB של VRAM כדי לטעון אותו ולהריץ הסקת מסקנות בצורה יציבה.

אם אין לכם חומרה ייעודית כזו בענן או על שולחן העבודה, עדיף להשתמש ב־API חיצוני של מודל גדול ומנוהל, במקום להתמודד עם עלויות התשתית של שרת ייעודי רק בשביל מודל שבעה מיליארד פרמטרים בסיסי.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm-chat-7b")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 13.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00007-of-00008.bin2.0 GB
• pytorch_model-00005-of-00008.bin2.0 GB
• pytorch_model-00006-of-00008.bin2.0 GB
• pytorch_model-00004-of-00008.bin2.0 GB
• pytorch_model-00001-of-00008.bin2.0 GB
• pytorch_model-00003-of-00008.bin1.9 GB
• pytorch_model-00002-of-00008.bin1.9 GB
• pytorch_model-00008-of-00008.bin845.2 MB
• tokenizer.model1.7 MB
• modeling_internlm.py58.5 KB
• pytorch_model.bin.index.json37.1 KB
• README.md12.6 KB
• tokenization_internlm.py8.8 KB
• configuration_internlm.py5.4 KB
• .gitattributes2.1 KB
• config.json731 B
• tokenizer_config.json343 B
• generation_config.json132 B
• special_tokens_map.json95 B

הרישיון

הקוד פתוח תחת רישיון Apache-2.0, אבל משקלי המודל דורשים הגשת טופס בקשה מקוון כדי לקבל אישור חינמי לשימוש מסחרי, או פנייה ישירה במייל internlm@pjlab.org.cn. שימוש אקדמי פתוח לגמרי, אך מי שרוצה לשלב אותו במוצר מסחרי חייב לקבל אישור רשמי מראש ולא יכול פשוט לקחת ולהפיץ.

הרישיון המלא בעמוד המודל ↗