gpt4all-j

מה זה

מדובר במודל שיחה שנבנה על בסיס GPT-J עם כמעט 6.2 מיליארד פרמטרים. צוות הפיתוח אימן אותו על מאגר של אינטראקציות בסגנון עוזר אישי, שכולל בעיות מילוליות, קוד, שירה ושיחות מרובות שלבים.

המטרה העיקרית שלו היתה לספק אלטרנטיבה חופשית לשימוש מסחרי מול מודלים קנייניים או מודלים שהתבססו על משקלים מוגבלים. הוא מתמקד בשפה האנגלית ומציע התנהגות של צ'אט ישיר ופונקציונלי ישר מהקופסה.

הפרויקט כולל כמה גרסאות שונות בהתאם לסינון הדאטה. הגרסאות המאוחרות יותר ניקו סירובים גנריים, הסירו כפילויות סמנטיות באמצעות אטלס והוסיפו דאטהסטים כמו דולי ושיירג'יפיטי.

מתאים ל

• בוט שיחה עצמאי באנגלית

  מתאים למי שחייב שירות שיחה שרץ כולו על שרת פרטי ומקומי מטעמי אבטחה.

• פתרון בעיות קוד קצרות

  אימון המודל כלל דוגמאות קוד ומאפשר לו לסייע במשימות תכנות בסיסיות.

• יצירת תוכן וכתיבה יוצרת

  אומן על שירים וסיפורים ומסוגל לייצר טיוטות טקסט יצירתי לפי הנחיות באנגלית.

איפה זה נופל

המודל מוגבל לחלון הקשר קצר של 2,048 טוקנים בלבד, מה שמקשה מאוד על ניתוח מסמכים ארוכים או שיחות מתמשכות. בנוסף, הוא אומן באנגלית בלבד, כך שאין מה לבנות עליו לעבודה בעברית ללא כוונון נוסף. הגרסאות המוקדמות גם נוטות לפלוט משפטים מתנצלים וגנריים אם לא בוררים את הגרסה הנכונה.

איך מריצים

כדי להריץ אותו דרך ספריית transformers במשקלי bfloat16 מלאים, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי. הקבצים עצמם שוקלים 34 גיגה, כך שזה דורש נפח אחסון ותעבורה משמעותיים בהורדה הראשונית.

אם ברירת המחדל עונה לכם בנימוס מעצבן שהיא מודל שפה, כדאי למשוך גרסאות מתקדמות יותר כמו v1.2 או v1.3 בעזרת פרמטר ה־revision. אם אין לכם חומרה ייעודית להחזיק אותו באוויר ברציפות, קריאה ל־API מסחרי תהיה מהירה וזולה יותר להקמה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nomic-ai/gpt4all-j")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 34.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin12.2 GB
• pytorch_model-00002-of-00002.bin12.1 GB
• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors2.2 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• model.safetensors.index.json27.2 KB
• pytorch_model.bin.index.json25.8 KB
• README.md6.0 KB
• added_tokens.json4.3 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• tokenizer_config.json727 B
• special_tokens_map.json438 B
• generation_config.json146 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות אותו, להפיץ אותו ולהטמיע אותו במערכות פנימיות בלי לשלם תמלוגים, כל עוד שומרים על תנאי הרישיון המקורי והודעות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗