Ling-3.0-tiny

מה זה

הארכיטקטורה כאן משלבת 128 מומחים דלילים, כאשר כל טוקן מפעיל רק 8 מומחים מנותבים ועוד אחד משותף. השילוב הזה, יחד עם שכבות קשב היברידיות מסוג KDA ו־MLA, מאפשר לשמור על עלות חישוב נמוכה מאוד ביחס לגודל הכולל של הרשת. המודל מגיע עם משקלים בפורמטים של BF16, FP8 ו־INT4, ומציע מעבר גמיש בין שליפת תשובות מהירה לבין פתרון בעיות רב שלבי באמצעות דגל הגדרה יחיד.

במבחני ביצועים של Artificial Analysis הוא קיבל ציון 25 במדד האינטליגנציה וציון 16 במדד הסוכנים. הבדיקות מראות קצב פליטה של מעל 160 טוקנים לשנייה, עם זמן כולל של כ־18 שניות לקבלת תשובה של 500 טוקנים שכוללת את שלב החשיבה המלא. המודל מתמקד במשימות של סוכנים אוטונומיים, קוד, חשיבה מדעית ומתמטית, ומעקב אחר הוראות מורכבות.

מתאים ל

• סוכן חכם במחשב נייד

  צריכת הזיכרון הנמוכה ב־FP8 מאפשרת להריץ סוכן אוטונומי ישירות על מקבוק בלי צורך בשרת מרוחק.

• פתרון בעיות מתמטיות וקוד

  מצב החשיבה המובנה מאפשר לנתח שלב אחר שלב שאלות היגיון וכתיבת קוד במחיר חישובי קטן.

• עיבוד טקסטים ארוכים

  ארכיטקטורת הקשב ההיברידית מתמודדת ביעילות עם מסמכים ארוכים תוך שימוש מועט בפרמטרים פעילים.

איפה זה נופל

הציונים במדדי הסוכנים והאינטליגנציה נמוכים ביחס למודלים גדולים ולא מכוונים להחלפת מערכות ענק במשימות כבדות באמת. ההרצה המקומית ב־Ollama אינה יציבה או רשמית, ומחייבת הידור ידני של pull request. בנוסף, חלון ההקשר הגדול וזמני החשיבה דורשים כוונון ידני של פרמטרי דגימה ספציפיים כדי לקבל תוצאות שאינן נתקעות או מתפזרות.

איך מריצים

אפשר להריץ אותו מקומית על מחשבי אפל סיליקון או תחנות מבוססות כרטיסי אנבידיה. במחשב מקבוק עם מעבד M4 Pro ומשקלי FP8, המודל מגיע לקצב של 86 עד 90 טוקנים לשנייה וצורך שיא של 8.34 גיגה-בייט זיכרון בהקשר של 8K טוקנים. על שרתי לינוקס אפשר להרים אותו ישירות דרך SGLang עם תמונת דוקר ייעודית, או לקמפל גרסת פיתוח של vLLM מהקוד.

אם אתם עובדים עם Ollama, התמיכה עדיין לא נמצאת בגרסה הרשמית ודורשת הידור מקומי של ענף ספציפי מגיטהאב דרך MLX. מי שלא רוצה לנהל את השרת והזיכרון בעצמו יכול לפנות ישירות לנקודת הקצה הפתוחה בחינם דרך OpenRouter.

pip install -U huggingface_hub
hf download inclusionAI/Ling-3.0-tiny

הקבצים

43 קבצים במאגר, 14.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00024-of-00032.safetensors1.1 GB
• model-00000-of-00032.safetensors1.1 GB
• model-00016-of-00032.safetensors687.7 MB
• model-00008-of-00032.safetensors664.5 MB
• model-00023-of-00032.safetensors453.0 MB
• model-00031-of-00032.safetensors453.0 MB
• model-00022-of-00032.safetensors453.0 MB
• model-00030-of-00032.safetensors453.0 MB
• model-00015-of-00032.safetensors453.0 MB
• model-00014-of-00032.safetensors453.0 MB
• model-00017-of-00032.safetensors453.0 MB
• model-00018-of-00032.safetensors453.0 MB
• model-00019-of-00032.safetensors453.0 MB
• model-00020-of-00032.safetensors453.0 MB
• model-00021-of-00032.safetensors453.0 MB
• model-00025-of-00032.safetensors453.0 MB
• model-00026-of-00032.safetensors453.0 MB
• model-00027-of-00032.safetensors453.0 MB
• model-00028-of-00032.safetensors453.0 MB
• model-00029-of-00032.safetensors453.0 MB
• model-00009-of-00032.safetensors453.0 MB
• model-00010-of-00032.safetensors453.0 MB
• model-00011-of-00032.safetensors453.0 MB
• model-00012-of-00032.safetensors453.0 MB
• model-00013-of-00032.safetensors453.0 MB
• model-00007-of-00032.safetensors377.5 MB
• model-00006-of-00032.safetensors377.5 MB
• model-00001-of-00032.safetensors377.5 MB
• model-00002-of-00032.safetensors377.5 MB
• model-00003-of-00032.safetensors377.5 MB
• model-00004-of-00032.safetensors377.5 MB
• model-00005-of-00032.safetensors377.5 MB
• tokenizer.json12.2 MB
• model.safetensors.index.json833.6 KB
• modeling_bailing_moe_v3.py73.2 KB
• tokenizer_config.json49.7 KB
• README.md9.5 KB
• chat_template.jinja6.0 KB
• configuration_bailing_moe_v3.py4.7 KB
• config.json2.1 KB

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, להפיץ אותם מחדש ולשלב אותם במוצרים סגורים ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗