ERNIE-4.5-21B-A3B-PT

מה זה

ביידו מציגה כאן מודל שפה מבוסס תערובת מומחים שעבר אימון מקדים היברידי יחד עם מידע חזותי, אך הותאם בגרסה הזו ספציפית למשימות טקסט. מתוך עשרים ושניים מיליארד פרמטרים בסך הכול, הוא מפעיל רק שלושה מיליארד פרמטרים לכל טוקן. זה מאפשר לו לשמור על קיבולת ידע של מודל בינוני, יחד עם זמני תגובה ועלויות עיבוד שדומים למודל קטן.

הוא מציע חלון הקשר רחב של מאה שלושים ואחד אלף טוקנים, עשרים ושמונה שכבות, ומנגנון ניתוב שמפצל בין שישים וארבעה מומחי טקסט לצד מומחים משותפים. הוא עבר כוונון ייעודי בשיטות אופטימיזציה ישירה כדי לשפר הבנה והפקה כללית, והגרסה הנוכחית מתאימה ישירות לעבודה עם פייתורץ' וספריית טרנספורמרס המוכרת.

מתאים ל

• עיבוד טקסטים ארוכים באנגלית

  חלון הקשר של מאה שלושים ואחד אלף טוקנים עם פענוח קל מאפשר לעבד מסמכים כבדים בלי להעמיס על החישוב.

• מערכות מענה באנגלית וסינית

  הפעלת שלושה מיליארד פרמטרים בלבד בזמן ריצה מספקת מהירות תגובה גבוהה מאוד בשרתים ייעודיים.

• סיווג וניתוח נתונים דו-לשוני

  האימון הרחב בסינית ובאנגלית מייצר תוצאות מדויקות במשימות תרגום והבנה בין שתי השפות האלה.

איפה זה נופל

המודל אומן והותאם עבור שפות אנגלית וסינית בלבד, ואין לו תמיכה מוכחת או אימון מכוון בעברית. שימוש בעברית ייפול כמעט בוודאות על טוקניזציה לא יעילה, פלטים שבורים והזיות.

למרות שהארכיטקטורה אומנה במקור בצורה היברידית עם ראייה ממוחשבת, הגרסה הזו חסומה ומכוילת לטקסט בלבד ולא מקבלת תמונות. בנוסף, חלון הקשר של מאה שלושים ואחד אלף טוקנים דורש תוספת זיכרון אדירה עבור זיכרון המפתח-ערך, כך שאי אפשר להריץ מסמכי ענק בלי להקצות חומרה משמעותית מעבר למשקל הבסיסי.

איך מריצים

כדי להעלות את המודל בדיוק המקורי תצטרכו לפחות ארבעים ושניים גיגה בייט של זיכרון כרטיס מסך, ועוד מרווח נכבד לפענוח ולהקשר הארוך. כרטיס בודד של ארבעים ושמונה גיגה בייט יחזיק אותו בגבול היכולת, אך כדי לנצל הקשרים ארוכים באמת תצטרכו שני כרטיסים של עשרים וארבעה גיגה בייט לפחות או כרטיס שרת ייעודי.

הסיומת מבהירה שמדובר במשקולות פייתורץ' שמתאימות לתשתיות נפוצות, בשונה מגרסאות שדורשות את פאדל-פאדל של ביידו. השרת נתמך ישירות דרך וי-אל-אל-אם מגרסה מתאימה, כך שההקמה פשוטה יחסית למי שמחזיק שרת פרטי, אך מי שצריך שימוש מזדמן יעדיף נקודת קצה מנוהלת כדי לא לשלם על כרטיסים חזקים שעומדים ללא שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="baidu/ERNIE-4.5-21B-A3B-PT")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 40.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00009.safetensors5.0 GB
• model-00006-of-00009.safetensors5.0 GB
• model-00002-of-00009.safetensors5.0 GB
• model-00004-of-00009.safetensors5.0 GB
• model-00001-of-00009.safetensors5.0 GB
• model-00003-of-00009.safetensors5.0 GB
• model-00007-of-00009.safetensors5.0 GB
• model-00008-of-00009.safetensors5.0 GB
• model-00009-of-00009.safetensors4.0 GB
• tokenizer.json11.2 MB
• tokenizer.model1.6 MB
• model.safetensors.index.json515.6 KB
• tokenizer_config.json202.7 KB
• added_tokens.json25.2 KB
• special_tokens_map.json20.2 KB
• LICENSE11.4 KB
• README.md7.1 KB
• .gitattributes1.5 KB
• config.json936 B
• chat_template.jinja754 B
• generation_config.json226 B

הרישיון

הרישיון הוא אפאצ'י שתיים אפס מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, לבנות מעליו שירותים ולפרוס אותו במוצר בלי לשלם תמלוגים לביידו, כל עוד שומרים על הודעת זכויות היוצרים וההפצה המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗