ERNIE-4.5-0.3B-PT
קוד פתוחbaiduapache-2.02025-06-28
מודל שפה קטן של 361 מיליון פרמטרים שמגיע עם חלון הקשר עצום של 131,072 טוקנים. הוא פונה למי שחייב מודל קל משקל שרץ על כל מכשיר, בלי לוותר על קריאת קבצים ומסמכים ארוכים.
- 361Mפרמטרים
- 131,072טוקנים בהקשר
- 701 MBמשקל הקבצים
- 16,326הורדות בחודש
מה זה
מדובר במודל דחוס מסוג פוסט-טריינינג שמיועד לעיבוד טקסט בלבד, בארכיטקטורה של 18 שכבות בדיוק bfloat16. השילוב בין גודל פיזי זעיר של 701 מגה-בייט לבין חלון הקשר של מעל 131 אלף טוקנים הוא נקודת המכירה העיקרית כאן, כי רוב המודלים בנפח של פחות מחצי מיליארד פרמטרים נחתכים באלפיים או שמונת אלפים טוקנים.
הוא אומן על אנגלית וסינית, ונועד לתת מענה למשימות של הבנה ויצירת טקסט ישירות על חומרה מקומית. בעוד מודלים אחרים בסדרת ERNIE 4.5 משלבים תמונות ומבנה של תערובת מומחים, הגרסה הזו נשארת צפופה וממוקדת בטקסט בלבד, מה שמבטיח עקביות בביצועים בלי תלות במנגנוני ניתוב מורכבים.
מתאים ל
- סריקת מסמכים ארוכים
קריאת טקסטים ארוכים באנגלית על מכשיר קצה, בזכות חלון הקשר של 131,072 טוקנים שלא דורש שרת.
- עיבוד מקומי במכשירי קצה
סיווג או חילוץ מידע בטלפונים או במחשבים ישנים, עם קובץ של 701 מגה-בייט שדורש משאבים מינימליים.
- שרת vLLM מהיר וזול
הרצה בקצב טוקנים גבוה במיוחד בעלויות חומרה כמעט אפסיות דרך ספריית vLLM.
איפה זה נופל
מודל של 361 מיליון פרמטרים לא מסוגל להתמודד עם היגיון מורכב, תכנות מעמיק או ניואנסים עדינים. למרות שחלון ההקשר עומד על 131 אלף טוקנים, תפיסת ההקשר והשליפה מתוך טקסטים ענקיים במודל זעיר כזה עלולות להיות חלשות ולא מדויקות. בנוסף, המודל אומן רק על אנגלית וסינית, ולכן הוא לא מתאים לעיבוד טקסט בעברית ללא אימון נוסף.
שאלות
נפוצות
האם המודל יודע לעבוד בעברית?
לא. המודל הוכשר רשמית רק על אנגלית וסינית. הוא לא מיועד לשפה העברית וניסיון להריץ עליו טקסטים מקומיים יניב תוצאות לא שמישות ללא כוונון עצמאי.
מה ההבדל בין גרסת PT לגרסת Paddle?
גרסת ה־PT שמורה בפורמט התואם ל־PyTorch ומיועדת לעבודה קלה עם Hugging Face transformers ו־vLLM. גרסת ה־Paddle מיועדת לשימוש עם תשתית PaddlePaddle של באידו.
האם באמת אפשר לנצל את כל 131 אלף הטוקנים במודל כזה קטן?
טכנית המודל יקבל את הקלט בלי לקרוס, אבל מודלים בגודל של 361 מיליון פרמטרים נוטים לאבד פרטים בהקשרים ארוכים במיוחד. מומלץ לבדוק את איכות השליפה בפועל לפני שמסתמכים עליו למסמכי ענק.
איך מריצים
המשקל הכולל של הקבצים עומד על 701 מגה-בייט, כך שכל מעבד מודרני או כרטיס גרפי בסיסי ביותר מריץ אותו בלי שום מאמץ. גרסת ה־PT הזו מגיעה עם משקולות פייטורץ' מותאמות לתשתית transformers מגרסה 4.54.0 ומעלה, בניגוד לגרסת ה־Paddle שדורשת את הפריימוורק של באידו. אפשר להעלות אותו מיידית גם דרך vLLM עם פקודת serve פשוטה.
הקריאה למודל כזה דרך שרת חיצוני שווה רק אם המכשיר שלכם מוגבל לחלוטין ברמת זיכרון של פחות מג'יגה-בייט פנוי. אחרת, כדאי להריץ אותו מקומית ולקבל אפס שיהוי בלי עלויות תעבורה.
from transformers import pipeline
pipe = pipeline("text-generation", model="baidu/ERNIE-4.5-0.3B-PT")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 701 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל משוחרר תחת רישיון apache-2.0 המלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים של באידו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים