gpt2-medium

מה זה

הארכיטקטורה מבוססת שנאי ומאומנת בשיטת חיזוי המילה הבאה על גבי מאגר של ארבעים גיגה בייט טקסט מקישורים ברדיט. המודל מיועד לשפה האנגלית בלבד, ואינו כולל נתונים מוויקיפדיה. עם גודל של 380 מיליון פרמטרים, הוא מתפקד כשלב ביניים בין הגרסה הבסיסית לגרסאות הגדולות יותר בסדרה.

בבדיקות אפס דוגמאות הוא השיג דיוק של 55.48 אחוזים במבחן למבדה וערכי פרפלקסיטי כמו 22.76 בוויקיטקסט 2. המספרים האלה מראים יכולת סבירה להשלמת מילים במשפטים מובנים, אבל רחוקים מלהציג הבנה עמוקה או יכולת ניתוח מורכבת בהשוואה למודלים מודרניים.

מתאים ל

• מחקר על הטיות במודלים

  משמש לבחינת סטריאוטיפים והתנהגות של מודלי שפה שנוצרו על נתונים גולמיים מהרשת.

• השלמת טקסט יצירתי באנגלית

  מתאים לסיוע בכתיבת שירה, סיפורים ובדיות קצרות בזכות הארכיטקטורה היוצרת שלו.

• יצירת תוכן למשחקי מחשב

  משתלב כמנוע פשוט לדיאלוגים מומצאים של דמויות שאינם דורשים דיוק עובדתי.

איפה זה נופל

היוצרים מדגישים שהמודל אינו מבדיל בין עובדות לבדיון, ולכן אסור להסתמך עליו לכל שימוש שדורש דיוק עובדתי. חלון ההקשר מוגבל ל־1,024 טוקנים, מה שמונע עיבוד מסמכים ארוכים. המאגר הכיל תוכן גולמי מהרשת ללא סינון עמוק, ולכן הפלטים כוללים הטיות קשות, סטריאוטיפים ותכנים פוגעניים. בנוסף, המודל אינו מאומן לעברית כלל, וכל ניסיון להזין שפה אחרת מאנגלית יניב שגיאות או טקסט שבור.

איך מריצים

טוענים את המודל דרך ספריית הטרנספורמרס בפייתון עם פייטרוץ' או טנזורפלו. קבצי המאגר שוקלים 11.6 גיגה בייט וכוללים גרסאות שונות של המשקלים, אך המודל עצמו תופס זיכרון עבודה צנוע מאוד בזמן ריצה. מעבד גרפי פשוט עם ארבעה עד שמונה גיגה בייט זיכרון יספיק לביצועי זמן תגובה טובים, והוא יכול לרוץ גם על מעבד מרכזי רגיל.

אם אתם צריכים רק להשלים פסקאות קצרות או לעשות ניסויי מחקר בודדים, אין צורך בשרת ייעודי. מנגד, אם המטרה היא לקבל תשובות אינטליגנטיות בצ'אט או לעבד טקסטים ארוכים, עדיף להשתמש בשרותי ענן חיצוניים שמריצים מודלים עדכניים יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="openai-community/gpt2-medium")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 11.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot1.7 GB
• onnx/decoder_model_merged.onnx1.6 GB
• onnx/decoder_with_past_model.onnx1.6 GB
• onnx/decoder_model.onnx1.6 GB
• pytorch_model.bin1.5 GB
• model.safetensors1.5 GB
• tf_model.h51.4 GB
• flax_model.msgpack1.4 GB
• onnx/tokenizer.json2.1 MB
• tokenizer.json1.4 MB
• vocab.json1.0 MB
• onnx/vocab.json798.2 KB
• merges.txt456.3 KB
• onnx/merges.txt456.3 KB
• README.md11.9 KB
• onnx/config.json939 B
• config.json718 B
• .gitattributes445 B
• onnx/tokenizer_config.json234 B
• generation_config_for_text_generation.json165 B
• generation_config.json124 B
• onnx/generation_config.json119 B
• onnx/special_tokens_map.json99 B
• tokenizer_config.json26 B

הרישיון

הרישיון הוא MIT שמאפשר שימוש חופשי, כולל שילוב במוצרים מסחריים ושינוי קוד המקור. חובה לצרף את תנאי הרישיון המקוריים ואת הצהרת היעדר האחריות של היוצרים. שימו לב שהכרטיס מזכיר גרסה מותאמת של הרישיון במאגר של אופנאיי, ולכן מומלץ לבדוק את קובץ התנאים המצורף לפני הפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗