GPT
הוספת כלי
E

ERNIE-4.5-300B-A47B-PT

קוד פתוח

baiduapache-2.02025-06-28

  • transformers
  • safetensors
  • ernie4_5_moe
  • text-generation
  • ERNIE4.5

מודל ענק בארכיטקטורת מומחים שמשלב 300 מיליארד פרמטרים ומפעיל רק 47 מיליארד בכל טוקן. הוא פונה למי שצריך ביצועים גבוהים באנגלית ובסינית לצד חלון הקשר נרחב ברישיון פתוח לחלוטין.

  • 300Bפרמטרים
  • 131,072טוקנים בהקשר
  • 562 GBמשקל הקבצים
  • 2,426הורדות בחודש

מה זה

ביידו שחררה את המודל הזה כגרסת משקולות בפורמט פייטורץ' מתוך סדרת ארני 4.5. מדובר במודל שפה מבוסס MoE שמחזיק 300 מיליארד פרמטרים בסך הכול, אך בכל רגע נתון משתמש ב־47 מיליארד פרמטרים פעילים בלבד. החלוקה הזו מתבצעת דרך 64 מומחי טקסט שמתוכם שמונה מופעלים בכל שלב, מה שמאפשר חישוב יעיל בהרבה ממודל צפוף בגודל מקביל, לצד חלון הקשר של 131,072 טוקנים.

המבנה שלו כולל תשתית שאומנה במקור יחד עם מידע ויזואלי והפרדה מובנית בניתוב המומחים, אך הגרסה הזו מיועדת ספציפית למשימות טקסט. המפתחים העבירו אותו אימון המשך שמשלב כוונון מונחה ואופטימיזציית העדפות, עם התמקדות מיוחדת בשילוב מקורות מידע וחיפוש ברשת, מה שהופך אותו למועמד טבעי לשליפת מידע ממסמכים ארוכים.

מתאים ל

  • עיבוד מסמכים ארוכים באנגלית

    חלון הקשר של 131,072 טוקנים מאפשר לקרוא דוחות כבדים או ספרים שלמים בניתוח יחיד.

  • מערכות חיפוש וסיכום רשת

    המודל הותאם במיוחד לאיחוד מקורות מידע חיצוניים, סינון עובדות עדכניות והרכבת תשובות מבוססות ציטוטים.

  • יישומים דו־לשוניים לסינית

    האימון המעמיק בסינית הופך אותו לבחירה טובה לתרגום מקצועי, ניתוח נתונים מקומיים והבנת הקשר תרבותי.

איפה זה נופל

המודל אומן רשמית לשתי שפות בלבד, אנגלית וסינית. עברית אינה נתמכת, וניסיון להריץ עליו טקסטים בעברית כנראה יניב תוצאות שבורות או הזיות כבדות. מעבר לזה, מדובר במודל שדורש גרסאות תוכנה עדכניות מאוד כמו vLLM מעל 0.10.2 וספריית transformers מגרסה 4.54 ומעלה, כך שתאימות הסביבה עשויה לדרוש התאמות והתעסקות ידנית לפני שהוא בכלל יעלה לאוויר.

שאלות
נפוצות

האם המודל יפעל טוב עם פרומפטים בעברית?

התיעוד הרשמי מציין תמיכה באנגלית ובסינית בלבד. הוא לא עבר אופטימיזציה או כוונון לעברית, ולכן לא מומלץ להסתמך עליו לפרויקטים שדורשים שפה זו.

מה ההבדל בין גרסת PT לגרסאות אחרות של המודל?

הסיומת PT מציינת משקולות בפורמט שתואם לפייטורץ' ולספריית transformers של האגינג פייס. גרסאות אחרות כמו Paddle מיועדות לעבודה עם ספריית פאדל-פאדל של ביידו.

האם אפשר להריץ אותו על שרת עם שני כרטיסי A100?

לא. משקל הקבצים עומד על 562 גיגה בייט, כך שגם עם כימות FP8 הדרישה המינימלית היא שמונה כרטיסים של 80 גיגה בייט.

איך מריצים

כדי להריץ את המודל בדיוק המקורי של bfloat16 צריך אשכול של 16 כרטיסי מסך בנפח 80 גיגה בייט כל אחד, עם vLLM ומקביליות טנזורים של 16. אם משתמשים בכימות ל־FP8 אפשר להסתפק בשמונה כרטיסים של 80 גיגה בייט. קבצי המשקל לבדם שוקלים 562 גיגה בייט, כך שכל תהליך ההורדה והטעינה דורש תשתית אחסון מהירה מאוד.

אלא אם יש לכם שרת ייעודי כזה פנוי בענן או במרכז נתונים מקומי, עלויות ההקמה והתחזוקה של חומרה כזו הופכות את ההרצה העצמאית לחסרת היגיון עבור רוב הצוותים. במצב כזה, פנייה לשירות ענן שמציע את המודל דרך נקודת קצה תהיה זולה ופשוטה משמעותית.

from transformers import pipeline

pipe = pipeline("text-generation", model="baidu/ERNIE-4.5-300B-A47B-PT")
print(pipe("שלום"))

הקבצים

136 קבצים במאגר, 562 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות שוחררו תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של המודל והפצה שלו בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים של ביידו וכוללים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗