Llama3-ChatQA-1.5-8B

מה זה

מדובר בהתאמה של אנבידיה על גבי מודל הבסיס Llama 3 8B, שמתמקדת כולה בתרחישי שיחה סביב הקשר ומסמכים. צוות הפיתוח הוסיף נתוני אימון לשיפור יכולות חישוב וקריאת טבלאות, תחום שבו מודלים קטנים נוטים להסתבך בו בקלות.

במדד ChatRAG Bench המודל עוקף מודלים גדולים ממנו בהרבה בממוצע הכללי, עם ציון של 55.17 לעומת 54.03 של GPT-4-Turbo וציון של 52.52 לגרסת 70B של לאמה 3. כשמנטרלים מבחן ספציפי שהופיע בנתוני האימון שלו, הממוצע יורד ל־53.99, שזה עדיין צמוד מאוד ל־GPT-4. במבחנים של ניתוח פיננסי או שיחות סביב מסמך בודד הוא מפגין דיוק שחוסך מעבר למודלים כבדים ויקרים.

מתאים ל

• בוט מסמכים פיננסיים

  הוא מצטיין בטבלאות ובמבחני ConvFinQA מורכבים ביחס לגודלו.

• מענה שאלות ממאגר ידע

  האימון שלו מותאם לשליפת תשובות מדויקות מקטעי טקסט חיצוניים.

• שירות לקוחות רב שלבי

  שומר על הקשר השיחה והשאלות הקודמות מול מסמכי מדיניות.

איפה זה נופל

המודל הזה אומן סביב הקשר נתון, ובלי מסמך ברקע הביצועים שלו צונחים והוא לא מיועד לשיחה כללית חופשית. בנוסף, חלון ההקשר שלו מוגבל ל־8,192 טוקנים, מה שאומר שאי אפשר לדחוף לתוכו ספרים שלמים אלא חייבים להשתמש במנגנון אחזור שמפרק טקסט לחלקים קטנים. החיסרון המשמעותי למשתמש ישראלי הוא היעדר תמיכה רשמית בעברית, שכן המודל מוגדר ומכוונן לאנגלית בלבד, כך שבשפות אחרות התוצאות לא מובטחות וידרשו בדיקה יסודית.

אותה משפחה

Llama3-ChatQA-1.5 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 גיגה בייט בפורמט float16, כך שצריך כרטיס מסך עם לפחות 16 עד 24 גיגה בייט של זיכרון כדי לטעון אותו ולהריץ הסקה בצורה חלקה. הוא רץ דרך ספריית transformers הרגילה, אבל חובה להקפיד על מבנה הפרומפט המדויק שאנבידיה הגדירה, שכולל תפקיד מערכת ייעודי להפרדה בין ההקשר לשאלה.

אם יש לכם שרת מקומי מתאים, שווה להריץ אותו ישירות כדי לחסוך עלויות שוטפות ולשמור על פרטיות המסמכים. אם אתם צריכים רק שאילתות בודדות ביום או שאין לכם חומרה מתאימה, עדיף להשתמש ב־API חיצוני שמארח את לאמה 3 מאשר להחזיק שרת יקר ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Llama3-ChatQA-1.5-8B")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors6.1 GB
• tokenizer.json9.1 MB
• docs/docs.json882.1 KB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json28.1 KB
• README.md10.2 KB
• .gitattributes1.5 KB
• config.json653 B
• generation_config.json136 B
• special_tokens_map.json73 B

הרישיון

השימוש כפוף לרישיון הקהילתי של מטא עבור לאמה 3. הרישיון מאפשר שימוש מסחרי חופשי לרוב החברות, כל עוד מספר המשתמשים החודשי של המוצר שלכם לא חוצה את רף 700 המיליון בעת ההשקה. אם אתם מתכננים להפיץ מוצר מסחרי קטן או בינוני, אפשר להשתמש בו ישירות.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗