internlm2_5-7b-chat

מה זה

המודל מגיע עם שבעה נקודה שבעה מיליארד פרמטרים ומכוון למשימות שיחה, חשיבה מורכבת ושימוש בכלים חיצוניים. המפתחים שלו מדגישים תמיכה בחלון הקשר של עד מיליון טוקנים באמצעות LMDeploy, לצד יכולת חיפוש ואיסוף מידע מתוך יותר ממאה דפי רשת במקביל דרך ספריות כמו MindSearch.

במדדי הביצועים של OpenCompass הוא מציג יתרון בולט בהסקה כמותית על פני מודלים מקבילים. במבחן MATH ללא דוגמאות הוא מגיע לציון שישים נקודה אחת, לעומת עשרים ושבע נקודה תשע של Llama3 המקביל וארבעים ושמונה נקודה שש של Qwen2. גם בבחינות ידע כללי כמו MMLU הוא עומד בראש הטבלה מולם עם שבעים ושתיים נקודה שמונה נקודות.

מתאים ל

• פתרון בעיות מתמטיקה

  משיג ציון שישים נקודה אחת במבחן MATH, תוצאה גבוהה בהרבה מכל מודל מקביל בגודל שבעה מיליארד פרמטרים.

• סוכני ניתוח דפי רשת

  נבנה לעבודה מול ספריות סוכנים ויודע לסרוק ולהצליב מידע מיותר ממאה מקורות במקביל.

• ניתוח מסמכים ארוכים

  מאפשר תשאול טקסטים ענקיים כמעט בלי לאבד פרטים כשמריצים אותו עם תשתית LMDeploy.

איפה זה נופל

המפתחים מציינים במפורש שהמודל עלול לפלוט הטיות, אפליה ותכנים מזיקים בגלל האופי ההסתברותי שלו ומגבלות הגודל. מעבר לזה, הכרטיס לא מציג שום נתונים על תמיכה בעברית, כך שלא הייתי בונה עליו למשימות שפה מקומיות בלי בדיקה מקיפה מראש. חובה גם לשים לב שהקוד דורש הרצת קוד מרוחק כדי להיטען, מה שמוסיף סיכון אבטחה בסביבות ייצור סגורות.

אותה משפחה

internlm2-5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו במשקל המקורי של ארבעה עשר נקודה ארבעה גיגהבייט בפורמט bfloat16, תצטרכו כרטיס מסך עם לפחות שישה עשר עד עשרים וארבעה גיגהבייט זיכרון וידאו. ההרצה דורשת שימוש בפרמטר trust_remote_code מול ספריית transformers, או שרתים כמו vLLM ו־LMDeploy שפותח במיוחד עבורו ומאפשר למתוח את ההקשר מעבר לברירת המחדל.

אם אין לכם כרטיס גרפי מתאים, יש למודל גרסאות מכווצות בפורמט GGUF להרצה על מעבד רגיל עם llama.cpp, בדיוקים שנעים בין חמישה לשמונה ביט. הרצה מקומית עצמאית עדיפה רק אם הפרטיות קריטית לכם, כי הקמת שרת ייעודי למודל כזה תעלה יותר מקריאות API פשוטות לספקי צד שלישי.

from transformers import pipeline

pipe = pipeline("text-generation", model="internlm/internlm2_5-7b-chat")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00008.safetensors2.0 GB
• model-00007-of-00008.safetensors2.0 GB
• model-00003-of-00008.safetensors2.0 GB
• model-00001-of-00008.safetensors1.9 GB
• model-00004-of-00008.safetensors1.9 GB
• model-00006-of-00008.safetensors1.9 GB
• model-00002-of-00008.safetensors1.9 GB
• model-00008-of-00008.safetensors1.7 GB
• tokenizer.model1.5 MB
• modeling_internlm2.py81.0 KB
• README.md18.8 KB
• model.safetensors.index.json18.2 KB
• configuration_internlm2.py8.8 KB
• tokenization_internlm2.py8.8 KB
• tokenization_internlm2_fast.py7.8 KB
• tokenizer_config.json2.5 KB
• .gitattributes1.5 KB
• config.json916 B
• special_tokens_map.json713 B
• generation_config.json123 B

הרישיון

קוד הפרויקט מופץ תחת רישיון Apache 2.0, אבל משקלי המודל מוגדרים תחת other. השימוש בהם חופשי למחקר אקדמי, אך שימוש מסחרי מחייב מילוי טופס בקשה רשמי מול המפתחים לקבלת אישור חינמי לפני שמשלבים אותו במוצר מסחרי פעיל.

הרישיון המלא בעמוד המודל ↗