Ling-lite

מה זה

מדובר במודל שפת תערובת מומחים בארכיטקטורת BailingMoeForCausalLM. הרעיון פשוט: במקום להעביר כל טוקן דרך כל 16.8 מיליארד הפרמטרים, הוא מנתב אותו ומשתמש בפועל רק ב־2.75 מיליארד בכל רגע נתון. זה נותן מהירות חישוב של מודל קטן עם קיבולת ידע של מודל גדול בהרבה.

לפי המבחנים שהמפתחים פרסמו, גרסת 0415 מנצחת מודלים צפופים פופולריים כמו LLaMA 3.1 8B ו־Qwen 2.5 7B ברוב מדדי החשיבה והתכנות. ב־HumanEval הוא הגיע ל־89.02 אחוז, וב־Math הוא עומד על 79.12 אחוז. במבחן AIME הקשה הוא רושם 13.33 אחוז, נתון נמוך מ־Qwen אבל עדיין סביר לגודל כזה. השיפור הבולט שלו הוא בעיקר במשימות חישוביות ובדיוק לפי הוראות בסיסיות.

מתאים ל

• השלמת קוד מקומית

  התוצאה של 89 אחוז ב־HumanEval הופכת אותו למנוע טוב לבדיקת פונקציות וקוד בסביבה פרטית ללא שליחת נתונים החוצה.

• פתרון בעיות חישוב

  עם ציון של 79 אחוז במבחני מתמטיקה, הוא מתאים לניתוח שאלות חישוביות שמכשילות מודלים קלים רגילים.

• מעקב אחר הוראות מובנות

  במבחן IFEval הוא עבר את 81 האחוזים, מה שמסייע בהפקת תשובות בפורמט קבוע או עבודה מול סכמות.

איפה זה נופל

במבחן התחרותי AIME2024 המודל השיג 13.33 אחוז בלבד, שזה פחות מהמתחרה הישיר Qwen2.5 7B שמגיע ליותר מ־16 אחוז. בנוסף, יש סתירה לא מוסברת בפרסומים לגבי אורך ההקשר, כאשר המפרט הטכני מציין 32,768 טוקנים בעוד שהטבלה בעמוד טוענת ל־128 אלף.

הארכיטקטורה שלו מבוססת על BailingMoe, מה שאומר שספריות הרצה ואופטימיזציה מסוימות עלולות לדרוש התאמות קוד כדי לתמוך בו, ולא הכל יעבוד מהקופסה כמו במודלים המוכרים.

איך מריצים

כדי להריץ אותו צריך להתמודד עם משקל של 31.3 גיגה בייט בדיוק bfloat16 שמחולקים לעשרות קבצים. זה אומר שאי אפשר להסתפק בכרטיס ביתי פשוט של 16 או 24 גיגה בזיכרון בלי קוונטיזציה. תצטרכו לפחות 40 גיגה בייט של VRAM כדי לטעון אותו ולשמור מקום לטוקנים.

אם אתם לא מחזיקים שרת ייעודי או כרטיס תואם בענן, עדיף להמתין לשירותי API מוכנים שמגישים אותו. היתרון בריצה עצמאית קיים רק אם יש לכם חומרה פנויה ואתם רוצים לנצל את מהירות ההסקה של 2.75 מיליארד פרמטרים פעילים תחת ספריית transformers.

from transformers import pipeline

pipe = pipeline("text-generation", model="inclusionAI/Ling-lite")
print(pipe("שלום"))

הקבצים

77 קבצים במאגר, 31.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00019-of-00066.safetensors738.2 MB
• model-00020-of-00066.safetensors738.2 MB
• model-00021-of-00066.safetensors738.2 MB
• model-00022-of-00066.safetensors738.2 MB
• model-00023-of-00066.safetensors738.2 MB
• model-00024-of-00066.safetensors738.2 MB
• model-00025-of-00066.safetensors738.2 MB
• model-00026-of-00066.safetensors738.2 MB
• model-00027-of-00066.safetensors738.2 MB
• model-00028-of-00066.safetensors738.2 MB
• model-00029-of-00066.safetensors738.2 MB
• model-00030-of-00066.safetensors738.2 MB
• model-00031-of-00066.safetensors738.2 MB
• model-00032-of-00066.safetensors738.2 MB
• model-00033-of-00066.safetensors738.2 MB
• model-00034-of-00066.safetensors738.2 MB
• model-00035-of-00066.safetensors738.2 MB
• model-00036-of-00066.safetensors738.2 MB
• model-00009-of-00066.safetensors738.2 MB
• model-00010-of-00066.safetensors738.2 MB
• model-00011-of-00066.safetensors738.2 MB
• model-00012-of-00066.safetensors738.2 MB
• model-00013-of-00066.safetensors738.2 MB
• model-00014-of-00066.safetensors738.2 MB
• model-00015-of-00066.safetensors738.2 MB
• model-00016-of-00066.safetensors738.2 MB
• model-00017-of-00066.safetensors738.2 MB
• model-00018-of-00066.safetensors738.2 MB
• model-00006-of-00066.safetensors645.9 MB
• model-00001-of-00066.safetensors518.0 MB
• model-00066-of-00066.safetensors518.0 MB
• model-00047-of-00066.safetensors369.1 MB
• model-00048-of-00066.safetensors369.1 MB
• model-00049-of-00066.safetensors369.1 MB
• model-00050-of-00066.safetensors369.1 MB
• model-00051-of-00066.safetensors369.1 MB
• model-00052-of-00066.safetensors369.1 MB
• model-00053-of-00066.safetensors369.1 MB
• model-00054-of-00066.safetensors369.1 MB
• model-00055-of-00066.safetensors369.1 MB

הרישיון

הרישיון הוא MIT, מה שאומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע בתוך מוצרים סגורים ולהפיץ מחדש בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗