GPT
הוספת כלי
G

gpt-j-6b

קוד פתוח

EleutherAIapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • gptj

מודל פתוח ותיק באנגלית להשלמת טקסטים שמתאים כבסיס לאימון עצמאי. הוא מספק חלופה חופשית לחלוטין למי שחייב שליטה מלאה במשקולות ובקוד.

  • 2,048טוקנים בהקשר
  • 67.6 GBמשקל הקבצים
  • 263,370הורדות בחודש
  • 1,526לייקים

מה זה

הארכיטקטורה מבוססת על חיזוי הטוקן הבא באנגלית בלבד, ואומנה על מאגר The Pile בהיקף של 402 מיליארד טוקנים. הוא משתמש בקידוד מיקום סיבובי ורץ דרך ספריית transformers הרגילה, מה שהפך אותו לאחד המודלים הפתוחים הראשונים שהציעו יכולות חיזוי סבירות בלי תלות בספק ענן סגור.

במבחני הביצועים הוא מציג רמת דיוק של 69.7 אחוז במבחן LAMBADA וציון של 65.3 ב־Winogrande. המספרים האלה מציבים אותו קרוב מאוד למודל GPT-3 6.7B של OpenAI באותן משימות בדיקה, ומראים שהוא מחזיק יכולת הבנת הקשר והיגיון בסיסי ברמה דומה למודלים מקבילים מאותה תקופה.

מתאים ל

  • בסיס לכיוונון עדין

    נקודת מוצא פתוחה שמאפשרת אימון על נתונים פרטיים באנגלית.

  • חילוץ מאפיינים וייצוגים

    יצירת ייצוגי עומק פנימיים לטקסטים באנגלית לצורכי סיווג.

  • השלמת טקסט חופשי

    חיזוי המשכים לפסקאות באנגלית במערכות שמבצעות בקרה וסינון.

איפה זה נופל

זהו מודל בסיס ולא צ'אטבוט. הוא לא עבר התאמה עם משוב אנושי, ולכן הוא לא עוקב אחרי הוראות מורכבות אלא פשוט מנחש את המשך הטקסט. הנתונים שעליהם הוא התאמן מכילים ביטויים פוגעניים וקללות, והוא פולט אותם בלי אזהרה מוקדמת. אסור לסמוך עליו בעובדות היסטוריות או טכניות, והוא עיוור לחלוטין לעברית. אל תחשבו אפילו לחבר אותו ישירות למשתמשי קצה בלי סינון אנושי קפדני.

שאלות
נפוצות

האם המודל מבין או כותב בעברית?

לא. האימון שלו נעשה כולו על דאטה באנגלית בלבד. אם תזינו לו טקסט בעברית תקבלו ג'יבריש או שגיאות, והוא אינו מתאים לתרגום.

האם אפשר להשתמש בו ישירות כמו ב־ChatGPT?

ממש לא. הוא לא יודע לענות לשאלות כעוזר אישי אלא רק ממשיך מחרוזות טקסט, ולעיתים קרובות מייצר תוצאות לא מדויקות או בוטות ללא עיבוד מקדים.

איך מריצים

טעינת המשקולות נעשית ישירות דרך AutoModelForCausalLM. הקבצים שוקלים 67.6 גיגה־בייט במקור, כך שאתם צריכים כרטיס מסך ייעודי חזק מאוד עם לפחות 16 עד 24 גיגה זיכרון כדי להריץ הסקת מסקנות, ורצוי קוונטיזציה אם רוצים לחסוך מקום.

אם אתם צריכים רק תגובות מזדמנות באפליקציה קיימת, עדיף להשתמש ב־API מוכן במקום להחזיק שרת יקר באוויר. הרצה עצמית שווה את המאמץ רק כשאתם מאמנים אותו מחדש על דאטה פנימי או חייבים שהמידע לא ייצא מהרשת המקומית שלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/gpt-j-6b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 67.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות, ולאמן אותו כרצונכם בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי בקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗