luodian/llama-7b-hf

מה זה

מדובר בגרסה הראשונה של מודל הבסיס בגודל שבעה מיליארד פרמטרים מבית מטא, שעברה המרה לפורמט של האגינג פייס על ידי משתמש עצמאי. השינוי המרכזי כאן לעומת המרות ראשוניות אחרות הוא אריזת המשקלים בשני קבצי פיצול בלבד במקום שלושים ושלושה, יחד עם תיקוני שמות בקוד שמונעים שגיאות בגרסאות טרנספורמרס עדכניות.

המודל אומן על טריליון טוקנים ממקורות רשת פתוחים כמו סיסינט, ויקיפדיה, גיטהאב וספרים. במבחני הסקת מסקנות הוא מספק דיוק סביר לגודלו, למשל תשעים ושלושה אחוזים במבחן קופה וקרוב לשמונים אחוזים בבוליאן קיו ובפיקה, אבל במשימות מורכבות יותר כמו ארק צ'לנג' הוא צונח לארבעים ושבעה נקודה שש אחוזים. הוא נועד קודם כל להשלמת טקסט והבנת שפה כללית, ולא לשיחה חופשית עם משתמשי קצה.

מתאים ל

• מחקר על הטיות במודלי שפה

  מדידת הטיות מובנות והזיות ישירות על משקלי בסיס גולמיים שלא עברו ריכוך או התערבות.

• אימון המשך ייעודי

  בסיס התחלתי לכוונון עדין על דאטה פרטי באנגלית באמצעות תשתית קוד סטנדרטית.

• בדיקת תאימות תשתיות

  אימות מהיר של צינורות עבודה בספריית טרנספורמרס הודות לטעינה מהירה בשני קבצים בלבד.

איפה זה נופל

זהו מודל בסיס שלא עבר כוונון באמצעות משוב אנושי, ולכן הוא לא יודע להתנהג כמו צ'אטבוט אלא פשוט מנחש את המילים הבאות. הכרטיס מציין במפורש שהפלט עלול להכיל מידע שגוי לחלוטין, הזיות, ותכנים פוגעניים או מוטים, עם מדדי הטיה ממוצעים של שישים ושש נקודה שש. בנוסף, חלון ההקשר קצר מאוד ועומד על אלפיים ארבעים ושמונה טוקנים בלבד, ורוב מוחלט של נתוני האימון היה באנגלית, כך שאין כאן תמיכה בעברית מחוץ לקופסה.

איך מריצים

כדי להריץ אותו בדיוק המקורי של שש עשרה ביט תצטרכו לפחות שישה עשר עד עשרים גיגה בייט של זיכרון גרפי ייעודי, מה שמחייב כרטיס מקצועי או כרטיס צרכני חזק. המשקלים עצמם שוקלים שנים עשר נקודה שישה גיגה בייט, ומאחר שהם מחולקים לשני קבצי מקור עיקריים, זמני הטעינה מהדיסק קצרים בהרבה בהשוואה להמרות מפוצלות מדי.

אם אתם צריכים רק מענה לשאלות או שילוב מהיר במוצר קיים, פנייה לשירות ענן מוכן תחסוך את עלות החומרה וההתעסקות במודל בסיס לא מכויל. הרצה מקומית של הגרסה הזו משתלמת רק אם יש לכם צורך באימון המשך, בבדיקת משקלי מקור ספציפיים, או במחקר מבודד רשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="luodian/llama-7b-hf")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin3.5 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json26.8 KB
• LICENSE10.6 KB
• README.md9.3 KB
• .gitattributes1.5 KB
• tokenizer_config.json727 B
• config.json507 B
• special_tokens_map.json411 B
• generation_config.json137 B

הרישיון

הרישיון מוגדר כאחר ומבוסס על הרישיון המקורי והייעודי למחקר בלבד של מטא. הוא אוסר במפורש כל שימוש מסחרי מכל סוג שהוא, כך שאי אפשר להטמיע את המשקלים האלה במוצר שנמכר ללקוחות או בשרת שמניב הכנסות.

הרישיון המלא בעמוד המודל ↗