gpt2

מה זה

הגרסה הזו היא המהדורה הקטנה ביותר במשפחה, ואומנה לחזות את הטוקן הבא על גבי טקסט גולמי באנגלית. הדאטהסט המקורי, WebText, כלל 40 גיגה בייט של דפי אינטרנט שהגיעו מקישורים ברדיט עם ניקוד חיובי מינימלי, ללא תוכן מוויקיפדיה כלל. הוא לומד ייצוג פנימי של השפה ומשמש לחילוף תכונות או יצירת המשך לטקסט קיים.

במדדי Zero-shot ללא אימון נוסף, הוא מציג דיוק של 45.99 אחוזים במבחן LAMBADA ופרפלקסיטי של 35.13. במבחני CBT הוא מגיע לדיוק של 87.65 אחוזים בשמות עצם נפוצים ו־83.4 אחוזים בישויות. במילים פשוטות, הוא מייצר טקסט שנשמע קוהרנטי תחבירית, אבל חסר יכולת הבנה עמוקה או לוגיקה מורכבת שמוצאים במודלים מודרניים.

מתאים ל

• השלמת טקסט מקומית

  יצירת המשך לטיוטות קצרות באנגלית על חומרה חלשה ובסביבה ללא חיבור רשת.

• חילוץ וקטורים ותכונות

  שימוש בשכבות המודל לצורך ייצוג טקסט באנגלית עבור מודלים קלאסיים.

• אימון עדין ממוקד

  בסיס קל משקל שרץ מהר לצורך התאמה לסגנון כתיבה צר או סיווג ספציפי.

איפה זה נופל

יוצרי המודל מזהירים במפורש שהוא לא מבדיל בין עובדות לבדיון, ולכן לא מתאים למשימות שדורשות דיוק עובדתי. הנתונים נאספו ישירות מהאינטרנט ללא סינון עמוק, ויש בו הטיות מובנות בנושאי מגדר, גזע ודת שאינן שונות בין הגרסאות הקטנות לגדולות. חלון ההקשר מוגבל ל־1,024 טוקנים, והוא אומן על אנגלית בלבד. אם תזרקו עליו עברית, תקבלו ג'יבריש מוחלט או כשלים בפירוק הטוקנים.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון באמצעות PyTorch או TensorFlow, עם טוקנייזר BPE ייעודי ואוצר מילים של 50,257 מונחים. המשקל של הקבצים עומד על 5.2 גיגה בייט, כך שאפשר להריץ אותו בלי מאמץ על כל מעבד מודרני ממוצע או כרטיס מסך בסיסי לחלוטין בלי לפתוח שרתים ייעודיים.

אם אתם מחפשים איכות פלט טובה יותר, יש למשפחה גרסאות Medium, Large ו־XL. אם אתם צריכים רק תגובות מהירות באנגלית במערכת מקומית מנותקת רשת, עדיף להריץ אותו ישירות במקום לשלם על API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="openai-community/gpt2")
print(pipe("שלום"))

הקבצים

26 קבצים במאגר, 5.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot702.5 MB
• onnx/decoder_model_merged.onnx655.2 MB
• onnx/decoder_with_past_model.onnx653.7 MB
• onnx/decoder_model.onnx653.7 MB
• pytorch_model.bin548.1 MB
• model.safetensors548.1 MB
• tf_model.h5497.9 MB
• flax_model.msgpack497.8 MB
• 64.tflite495.8 MB
• 64-fp16.tflite248.3 MB
• 64-8bits.tflite125.2 MB
• onnx/tokenizer.json2.1 MB
• tokenizer.json1.4 MB
• vocab.json1.0 MB
• onnx/vocab.json798.2 KB
• merges.txt456.3 KB
• onnx/merges.txt456.3 KB
• README.md8.1 KB
• onnx/config.json879 B
• config.json665 B
• .gitattributes445 B
• onnx/tokenizer_config.json234 B
• generation_config.json124 B
• onnx/generation_config.json119 B
• onnx/special_tokens_map.json99 B
• tokenizer_config.json26 B

הרישיון

הרישיון הוא MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תשלום תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי בתוך העותקים של הקוד או המוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗