ERNIE-4.5-21B-A3B-Thinking

מה זה

ביידו לקחו את הבסיס של ארכיטקטורת המומחים והוסיפו לו תהליך אימון ייעודי לחשיבה מעמיקה. המבנה מחזיק שישים וארבעה מומחים שונים, אבל בכל פעולה נבחרים רק שישה מהם לצד שני מומחים משותפים. התוצאה היא חישוב בפועל של מודל קטן מאוד, לצד זיכרון שמגיע מנפח כולל של עשרים ושניים מיליארד פרמטרים. הפיתוח הזה מתרכז בעיקר בבעיות של מתמטיקה, מדעים, תכנות והפעלת כלים חיצוניים.

השוני העיקרי מול מודלים צפופים באותו טווח גודל הוא השילוב בין חלון הקשר של מאה עשרים ושמונה אלף טוקנים לבין שרשרת חשיבה ארוכה מהרגיל. המודל מייצר לעצמו טקסט מחשבה פנימי לפני שהוא פולט את התשובה הסופית, מה שמאפשר לו לפרק בעיות הנדסיות מורכבות. הוא נתמך ישירות בספריות סטנדרטיות כמו פאסט דיפלוי ו־vLLM, כך שלא צריך להסתבך עם קוד ייעודי של המפתחים.

מתאים ל

• פתרון בעיות קוד מורכבות

  מנגנון החשיבה הארוך מאפשר לו לנתח לוגיקה סבוכה באנגלית ולמצוא תקלות בלי לקרוס.

• ניתוח מסמכים ארוכים

  חלון של מאה עשרים ושמונה אלף טוקנים מאפשר להזין תיעוד טכני שלם ולשאול עליו שאלות.

• הפעלת כלים ופונקציות

  הארכיטקטורה עברה אימון ייעודי להפעלת כלים חיצוניים וקריאות לפונקציות לפי דרישה.

איפה זה נופל

הכרטיס מדגיש שהמודל מאריך מאוד את זמן החשיבה שלו, ולכן השיהוי עד לקבלת התשובה גבוה באופן מורגש. זה לא מתאים לשיחות צ'אט מהירות שמחייבות תגובה מיידית. מעבר לכך, התמיכה הרשמית מוגבלת לאנגלית ולסינית בלבד, כך שעברית לא נתמכת כאן באופן רשמי וסביר להניח שתתקל בשיבושים כבדים. נקודה נוספת היא התלות בגרסאות תוכנה מאוד מסוימות, כולל באג ידוע בגרסה ספציפית של סביבת ההרצה.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס מסך יחיד של שמונים גיגה זיכרון. הקבצים שוקלים כמעט ארבעים ואחד גיגה בגלל ייצוג ביפלוט שש עשרה, ובשביל לנצל את מלוא חלון ההקשר תחת עומס עבודה נדרש כל הנפח הזה. מי שמשתמש ב־vLLM צריך גרסה עשר אפס שתיים ומעלה, תוך דילוג מפורש על גרסה אחת עשרה אפס, או להתקין ישירות מגרסת הפיתוח הראשית כדי לקבל ניתוח פלט של חשיבה וקריאות לכלים.

אם אין לכם שרת ייעודי עם חומרה של שמונים גיגה ומעלה, אין טעם לנסות להרים אותו על מחשב אישי או כרטיסים ביתיים קטנים. במצב כזה עדיף להשתמש בשרת ענן שכור לפי שעה או שירותי הרצה חיצוניים שתומכים בפורמט הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="baidu/ERNIE-4.5-21B-A3B-Thinking")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 40.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00009.safetensors5.0 GB
• model-00003-of-00009.safetensors5.0 GB
• model-00004-of-00009.safetensors5.0 GB
• model-00006-of-00009.safetensors5.0 GB
• model-00008-of-00009.safetensors5.0 GB
• model-00002-of-00009.safetensors5.0 GB
• model-00007-of-00009.safetensors5.0 GB
• model-00005-of-00009.safetensors5.0 GB
• model-00009-of-00009.safetensors3.7 GB
• tokenizer.json11.0 MB
• tokenizer.model1.6 MB
• benchmark.png567.9 KB
• model.safetensors.index.json514.5 KB
• LICENSE11.4 KB
• README.md7.2 KB
• tokenizer_config.json4.2 KB
• chat_template.jinja3.7 KB
• .gitattributes1.6 KB
• config.json903 B
• special_tokens_map.json658 B
• generation_config.json205 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה במוצרים שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית של ביידו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗