camel-5b-hf

מה זה

מדובר במודל שפה שנשען על ארכיטקטורת Palmyra-Base ומכיל 5 מיליארד פרמטרים. צוות בלשנים של Writer בנה עבורו סט אימון של כ־70,000 זוגות של הוראות ותשובות, במטרה לתת מענה ממוקד לעיבוד פקודות מורכבות, ניסוח טקסט ומענה לפניות.

בניגוד למודלים גנריים מאותה תקופה שאומנו על טקסט גולמי מהרשת, הדגש כאן הוא על היכולת לעקוב אחרי הנחיות עבודה מוגדרות. עם זאת, אין בכרטיס המודל תוצאות של מבחני ביצועים מקובלים, כך שקשה לכמת את היתרון שלו מול חלופות בלי להריץ בדיקות ישירות על הדאטה שלכם.

מתאים ל

• בוטים לשירות לקוחות

  הוא אומן על הוראות ודיאלוגים מובנים באנגלית ומתאים למענה מתוחם.

• עוזרי כתיבה פנימיים

  אימון הלשונאים של Writer מסייע בניסוח מחדש ועריכת פסקאות קצרות.

• תיוג ומיון טקסטים

  הגודל הקומפקטי מאפשר חילוץ מידע לפי הנחיות בלי להעמיס משאבים.

איפה זה נופל

היוצרים מבהירים במפורש שאין להסתמך עליו לצורך קבלת עובדות מדויקות, כי הוא פשוט חוזה את הטוקן הבא סטטיסטית. בנוסף, הוא עלול לייצר תוכן פוגעני בלי התרעה מוקדמת. המודל תומך באנגלית בלבד, כך שהוא לא מתאים לממשקים בעברית. חלון ההקשר מוגבל ל־2,048 טוקנים, מה שפוסל עבודה עם מסמכים ארוכים.

איך מריצים

המשקלים נשמרים בדיוק מלא של float32 ותופסים כמעט 20 גיגה-בייט על הדיסק, מה שאומר שתצטרכו מאיץ גרפי ייעודי עם לפחות 24 גיגה-בייט זיכרון כדי לטעון ולהריץ אותו בצורה מקומית בלי שגיאות זיכרון. מפתחי המודל השתמשו בכלי האריזה Truss כדי לפרוס אותו על תשתית Baseten.

אם אין לכם שרת עם חומרה מתאימה, החזקת מכונה בענן רק בשביל מודל של 5 מיליארד פרמטרים תהיה יקרה ולא משתלמת. במקרים כאלה עדיף לפנות למודל מנוהל דרך API מאשר להרים שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="Writer/camel-5b-hf")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 19.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin10.0 GB
• pytorch_model-00002-of-00003.bin10.0 GB
• pytorch_model-00003-of-00003.bin1.1 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.4 KB
• pytorch_model.bin.index.json25.4 KB
• README.md5.4 KB
• handler.py1.5 KB
• .gitattributes1.5 KB
• config.json787 B
• tokenizer_config.json748 B
• generation_config.json124 B
• special_tokens_map.json123 B
• added_tokens.json21 B
• requirements.txt10 B

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך המוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗