GPT
הוספת כלי
G

gpt2-small-portuguese

קוד פתוח

pierreguilloumit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • gpt2

התאמה של ארכיטקטורת GPT-2 הבסיסית לשפה הפורטוגזית. הוא שוקל מעט, רץ על מעבדים פשוטים ומתאים כבסיס קל למשימות שפה מקומיות.

  • 1,024טוקנים בהקשר
  • 1.4 GBמשקל הקבצים
  • 6,393הורדות בחודש
  • 56לייקים

מה זה

הפרויקט הזה מבוסס על מודל GPT-2 small באנגלית, שעבר אימון נוסף על טקסטים מוויקיפדיה בפורטוגזית. המטרה של היוצר הייתה להוכיח שאפשר לבנות מודל שפה סביר במשאבים נמוכים יחסית, תוך שימוש בכרטיס מסך בודד של 32 גיגה וקצת יותר מגיגה אחד של טקסט מקור.

בסיום חמישה מחזורי אימון המודל הגיע לדיוק חיזוי של 37.99 אחוזים ורמת פרפלקסיטי של 23.76 מול נתוני הבדיקה. בפועל, המשמעות היא שהוא למד את המבנה הדקדוקי ואוצר המילים של פורטוגזית בסיסית, ויודע להמשיך משפטים בצורה הגיונית, אבל הוא עדיין מודל קטן של 124 מיליון פרמטרים שלא מבין הקשרים עמוקים.

מתאים ל

  • השלמת טקסט בפורטוגזית

    חיזוי המילה הבאה במשפט עבור מקלדות או מערכות עריכה קלות משקל.

  • בסיס לכיוונון משימות סיווג

    מיצוי מאפיינים מוקדם ואימון עדין נוסף של המודל על נתונים ספציפיים.

  • אימון מקומי בסביבות זולות

    הרצה בעלות שרת אפסית ללא צורך בכרטיסי מסך יקרים.

איפה זה נופל

המודל אומן בלעדית על ויקיפדיה בפורטוגזית, ולכן הוא סובל מהטיות מובנות ומייצר טעויות עובדתיות בביטחון מלא. הוא אינו מבדיל בין מציאות לבדיה ואין לו שום מנגנון התאמה להוראות אנושיות, כך שלא מומלץ לחבר אותו לממשק משתמש ישיר בלי בדיקות קפדניות וסינון תוכן מקדים.

שאלות
נפוצות

האם המודל מבין הוראות בצורת צ'אט?

לא. מדובר במודל השלמת טקסט בסיסי שמשלים את המילים הבאות לפי רצף הסתברותי. הוא אינו מודל שיחה ומעולם לא עבר אימון ייעודי למענה על שאלות.

באיזה ניב של פורטוגזית הוא תומך?

האימון נעשה על ויקיפדיה בפורטוגזית, שכוללת תערובת של פורטוגזית ברזילאית ואירופית עם נטייה משמעותית לברזילאית. לטקסטים שדורשים סלנג מקומי או ניסוחים משפטיים מוגדרים, כדאי לאמן אותו על דאטה ייעודי.

איך מריצים

בגלל הגודל הצנוע שלו, אפשר להריץ אותו ישירות דרך ספריית transformers בגרסת פייתורץ' או טנסורפלו על מעבד רגיל, בלי כרטיס גרפי ייעודי בכלל. קובץ המשקלים שוקל פחות מחצי גיגה וצריכת הזיכרון מינימלית, כך שהוא מתאים לשרתים חלשים או לתהליכי בדיקה מקומיים על מחשב נייד.

יש טעם לפנות לשירותי ענן חיצוניים רק אם אתם צריכים לנהל שיחות מורכבות, לענות על שאלות ארוכות או לטפל בטקסטים מרובי משתמשים. למשימות השלמת מילים או סיווג נקודתי, הרצה מקומית עצמאית תהיה זולה ופשוטה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="pierreguillou/gpt2-small-portuguese")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT חופשי לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן אותו מחדש ולשלב אותו בתוכנה סגורה, בתנאי ששומרים על הצהרת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗