TinyBERT_General_4L_312D
קוד פתוחhuawei-noahרישיון לא דווח2022-03-02
גרסה מכווצת ומזוקקת של מודל שפה ותיק, שנועדה לתת זמני תגובה מהירים במיוחד. היא מתאימה למי שחייב ביצועים חישוביים זולים בלי להחזיק שרתים כבדים.
- 512טוקנים בהקשר
- 115 MBמשקל הקבצים
- 223,729הורדות בחודש
- 90לייקים
מה זה
היוצרים לקחו את BERT הבסיסי והעבירו אותו תהליך זיקוק ידע ישירות לתוך ארבע שכבות וגודל ייצוג של 312 בלבד. לפי הנתונים שלהם, המבנה הזה קטן פי שבעה וחצי מהמקור ומהיר ממנו פי תשעה נקודה ארבע בהסקה. המטרה כאן היא הבנת שפה כללית, כשהמודל המקורי משמש כמורה על מאגר טקסט רחב כדי לשמר כמה שיותר מהיכולות.
המשמעות בשטח היא שאפשר לבצע משימות סיווג וניתוח טקסט בסיסיות בחלקיק מהזמן והמשאבים הרגילים. הגרסה הזו מוגדרת כבסיס כללי, והיוצרים מייעדים אותה בעיקר כנקודת התחלה לאימון נוסף או לזיקוק ממוקד למשימה ספציפית שלכם, ולא כמוצר סופי שפותר הכל מהקופסה.
מתאים ל
- סיווג טקסט במכשיר קצה
משקל של 115 מגה בייט רץ במהירות גם על חומרה חלשה בלי להעמיס על המעבד.
- בסיס לכוונון משימה
המודל נועד לשמש כהתחלה טובה לזיקוק נוסף על נתונים ספציפיים שלכם.
- סינון מהיר של תוכן
הסקה מהירה פי תשעה מאפשרת בדיקת כמויות מלל גדולות בזמן אפסי.
איפה זה נופל
זהו מודל כללי שעבר רק את שלב הזיקוק הראשוני. הוא לא מכוונן למשימה ספציפית, ולכן הרצה שלו כמו שהוא עלולה לתת תוצאות חלשות במשימות מורכבות. עם ארבע שכבות בלבד, כושר ההפשטה וההבנה של ניואנסים יורד באופן מורגש מול מודלים מלאים. חלון ההקשר מוגבל לחלוטין לחמש מאות ושנים עשר טוקנים, כך שטקסטים ארוכים ייחתכו מיד. בנוסף, אין בכרטיס שום מידע על תמיכה בשפות מעבר לאנגלית, וסביר מאוד שעברית תישבר או תייצר פלט חסר ערך.
שאלות
נפוצות
האם המודל מוכן לשימוש ישיר במוצר?
היוצרים שחררו אותו כמודל כללי שמיועד להוות בסיס לזיקוק נוסף. עבור משימות מוגדרות כמו סיווג או זיהוי ישויות, תצטרכו לאמן או לכוונן אותו על הדאטה שלכם כדי לקבל דיוק סביר.
האם צריך כרטיס מסך כדי להריץ אותו בהפקה?
לא. המודל שוקל 115 מגה בייט ודורש מעט מאוד פעולות חישוב, כך שמעבד רגיל יספק זמני תגובה מהירים מאוד בלי הוצאות על חומרה ייעודית.
איך מריצים
טוענים את הקבצים ישירות דרך ספריית transformers הרגילה בקוד פייתון. עם משקל של 115 מגה בייט בלבד, אין שום צורך במעבדים גרפיים יקרים או בחומרה ייעודית. מעבד פשוט של מחשב נייד או שרת זול יריצו אותו בלי מאמץ ובלי לתפוס זיכרון.
אם אתם צריכים רק מענה מהיר לכמויות גדולות של טקסט בתוך התשתית שלכם, שווה לגמרי להרים אותו לבד. אין הגיון לשלם על קריאות API חיצוניות כשכל המשקל של המודל נכנס בקלות לזיכרון של שרת מקומי בסיסי.
from transformers import pipeline
pipe = pipeline("text-generation", model="huawei-noah/TinyBERT_General_4L_312D")
print(pipe("שלום"))הקבצים
6 קבצים במאגר, 115 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצרים לא ציינו רישיון שימוש בעמוד המודל. מבחינה משפטית מדובר בשטח אפור ומסוכן, כי ללא רישיון מפורש אין הרשאה רשמית להשתמש בקוד או במשקלים במוצר מסחרי.