GPT-2B-001
קוד פתוחnvidiacc-by-4.02023-04-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
שני מיליארד פרמטרים מבית אנבידיה שמאומנים על מעל טריליון טוקנים. פתרון קומפקטי למי שמחפש מודל בסיס רב-לשוני קל משקל שרץ על חומרת אמפר או הופר.
- 8.4 GBמשקל הקבצים
- 133הורדות בחודש
- 192לייקים
מה זה
מדובר במודל שפה מבוסס מפענח בלבד שפותח ואומן באמצעות ערכת הכלים NeMo על גבי 1.1 טריליון טוקנים ממקורות ציבוריים. הוא כולל שיפורים ארכיטקטוניים ממוקדים כמו שימוש בפונקציית השפעול SwiGLU, שילוב קידודי מיקום מסוג RoPE, והסרת איברי ההטיה בכל השכבות הלינאריות. חלון ההקשר עומד על 4,096 טוקנים.
במדדי Zero-shot נרשם ציון 0.7437 במבחן PiQA וציון 0.592 ב־HellaSwag, לצד 0.5979 ב־BoolQA. לעומת זאת, במבחני ידע מורכבים יותר כמו ARC-Challenge התוצאה נעצרת על 0.3558, ובמבחן ARC-Easy על 0.45300. המדדים האלה מציגים יכולת בסיסית סבירה אך מוגבלת בשאלות היסק קשות ללא אימון נוסף.
מתאים ל
- בסיס לכיוונון משימות
אימון מקומי של מודל קל משקל על משימות סיווג וטקסט ייעודיות באנגלית או בשפות אירופיות.
- מחקר בארכיטקטורת NeMo
בדיקת יכולות המערכת של אנבידיה ויישום SwiGLU עם RoPE על מודל בגודל שני מיליארד פרמטרים.
- השלמת טקסט מקומית
הרצה מקומית על כרטיס אמפר אחד ליצירת טקסט מהירה בתוך סביבה מנותקת רשת.
איפה זה נופל
המודל אומן על מידע גולמי שנאסף מהאינטרנט וכולל שפות פוגעניות והטיות חברתיות. מפתחי המודל מציינים בפירוש שלא ביצעו שום תהליך יישור, התאמה מוסרית, או סינון רעילות בנקודת הבדיקה הזו. הוא עלול לפלוט תוכן בעייתי, במיוחד מול הנחיות שמכילות תוכן רעיל, כך שלא ניתן לשלב אותו בסביבה חיה מול משתמשים בלי שכבת סינון ואימון ייעודי משלכם.
שאלות
נפוצות
האם אפשר להריץ את המודל על כרטיסי מסך ישנים יותר?
התיעוד דורש במפורש כרטיסי מסך מארכיטקטורת Ampere או Hopper. הרצה על ארכיטקטורות קודמות כמו טורינג או פסקאל אינה נתמכת בהוראות המקוריות.
האם המודל מתאים לצ'אט ישיר מול לקוחות?
לא. מדובר במודל שפה בסיסי שלא עבר כיוונון להנחיות או התאמת בטיחות. הוא לא מתנהג כמו מודל שיחה ומחזיר השלמות טקסט גולמיות בלבד.
האם המודל תומך בעברית?
רשימת השפות של המודל כוללת אנגלית, רוסית, גרמנית, ספרדית, צרפתית, יפנית, איטלקית ווייטנאמית. עברית אינה מופיעה ברשימה, ולכן הוא אינו מתאים לעבודה בעברית.
איך מריצים
כדי להריץ אותו בפועל תצטרכו כרטיס גרפי של אנבידיה מארכיטקטורת Ampere או Hopper לפחות. סביבת העבודה דורשת התקנה של ספריית NeMo בגרסה 1.17.0 יחד עם NVIDIA Apex מקוד המקור, או שימוש בקונטיינר מוכן של NeMo Megatron. המודל שוקל 8.4 גיגה-בייט ונפרס באמצעות סקריפט הערכה בפורמט bf16 על גבי שרת מקומי שמאזין לבקשות HTTP.
אם אתם לא מחזיקים בכרטיסים תואמים ומחפשים הרצה קלה בלי להתעסק עם קומפילציה של תלויות C ו־CUDA, עדיף להשתמש בשירות ענן מנוהל או במודל שרץ ישירות דרך ספריות פשוטות יותר.
pip install -U huggingface_hub hf download nvidia/GPT-2B-001
הקבצים
3 קבצים במאגר, 8.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא CC-BY-4.0. זהו רישיון מתירני שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי של המשקלים והפצה מחודשת. התנאי היחיד הוא מתן קרדיט ברור ליוצרים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס