rugpt3small_based_on_gpt2
קוד פתוחai-foreverרישיון לא דווח2022-03-02
מודל קטן ומהיר שמייצר טקסט ברוסית ומבוסס על GPT-2. מתאים למי שחייב עיבוד מקומי קליל של השפה הרוסית על חומרה בסיסית.
- 2,048טוקנים בהקשר
- 1006 MBמשקל הקבצים
- 48,647הורדות בחודש
- 56לייקים
מה זה
צוות SberDevices בנה את המודל הזה על בסיס GPT-2, במטרה לתת מענה ספציפי לשפה הרוסית. האימון המקורי נעשה על 80 מיליארד טוקנים לאורך כשלושה אפוקים עם אורך רצף של 1024, ולאחר מכן ביצעו כוונון עדין שהרחיב את חלון ההקשר ל־2048 טוקנים. תהליך האימון כולו לקח שבוע על 32 כרטיסים גרפיים.
במקום לקחת מודל שפה כללי באנגלית ולנסות לאלץ אותו להבין רוסית, יש כאן ארכיטקטורה מוכרת של transformers שאומנה ישירות על קורפוס רוסי. זה משפיע ישירות על היעילות של הטוקניזציה ועל ההבנה הדקדוקית, אם כי מדובר במודל קטן מאוד במונחים של ימינו.
מתאים ל
- השלמת טקסט מהירה ברוסית
משקל של ג'יגה בייט בודד מאפשר הפקה קלילה של טקסט ברוסית מקומית על חומרה חלשה.
- אימון ייעודי למשימות קצה
נקודת מוצא טובה לכוונון נוסף על טקסטים קצרים ברוסית, כמו זיהוי ישויות או סיווג.
- בדיקות פיתוח אופליין
רץ ישירות על מעבד מקומי ללא חיבור רשת וללא תלות בספקי ענן חיצוניים.
איפה זה נופל
המודל מוגדר ומאומן עבור רוסית בלבד, כך שאין מה לבנות עליו לעברית או למשימות רב לשוניות. בנוסף, מדובר בארכיטקטורת GPT-2 קטנה משנת 2022 שאומנה כמודל השלמת טקסט בסיסי, לא מודל שעבר אימון עם משוב אנושי לשיחה או למענה על פקודות. הוא עלול לחזור על עצמו, להמציא עובדות ולאבד קוהרנטיות בטקסטים ארוכים.
שאלות
נפוצות
האם המודל תומך בעברית או באנגלית?
המודל אומן והוגדר עבור רוסית בלבד. הוא לא נועד לטפל בעברית, וניסיון להזין לו שפות אחרות יניב פלט משובש או חסר תועלת.
כמה זיכרון וידאו צריך בשביל להריץ אותו?
קבצי המודל שוקלים 1006 מגה בייט, כך שהוא נכנס לתוך פחות משני ג'יגה בייט זיכרון גרפי. אפשר להריץ אותו אפילו על מעבד רגיל של מחשב נייד בלי בעיה.
איך מריצים
המשקל הכולל של הקבצים עומד על 1006 מגה בייט, כך שאפשר להריץ אותו בקלות על מעבד רגיל או על כרטיס מסך בסיסי בלי לחשוב פעמיים על זיכרון. טוענים אותו ישירות דרך ספריית transformers עם GPT2LMHeadModel ומקבלים תוצאות בלי צורך בשרתים מורכבים.
אם אתם צריכים רק השלמת משפטים פשוטה ברוסית או משימות סיווג מקומיות, ההרצה העצמאית משתלמת וחוסכת עלויות. אם המטרה היא שיחה מורכבת או הבנת הנחיות מתקדמות, עדיף להשתמש ב־API של מודלים גדולים יותר במקום להסתבך עם התוצרים של מודל קטן כזה.
from transformers import pipeline
pipe = pipeline("text-generation", model="ai-forever/rugpt3small_based_on_gpt2")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 1006 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בעמוד המודל לא דווח רישיון כלל. מבחינה משפטית, היעדר רישיון מוגדר מציב סיכון לכל מי שמתכנן להכניס אותו למוצר מסחרי, כי אין אישור שימוש כתוב ומפורש מהיוצרים. מומלץ לבדוק את המאמר שפורסם בארכייב או לפנות ישירות ליוצרים לפני שילוב בפרויקט עסקי.