dragon-mistral-7b-v0

מה זה

מדובר בהתאמה של מיסטרל שבעה מיליארד פרמטרים, שנבנתה ישירות לתוך תהליכי אחזור מידע של מסמכים משפטיים ופיננסיים. במקום לנסות לנהל שיחות חולין פתוחות, המטרה כאן היא חילוץ נתונים, סיכום נקודתי ומענה ישיר על שאלות מתוך פסקאות טקסט מורכבות.

במבחני הבנצ'מרק הייעודיים שלו הוא קיבל ציון דיוק של 96.5 מתוך 100, ולא נרשמו הזיות בריצות הבדיקה. החוזק האמיתי שלו נמצא בזיהוי מצבים שבהם התשובה פשוט לא קיימת בטקסט, עם ציון של 92.5 אחוז בסיווג חוסר מידע, מה שמונע ממנו לחרטט כשחסר נתון.

מתאים ל

• חילוץ נתונים מחוזים

  שליפת מועדים וסעיפים מתוך מסמכים משפטיים מורכבים באנגלית בלי לקבל ניסוחים מומצאים.

• מענה מבוסס קובצי חברה

  שילוב בצינור עבודה שמחזיר תשובה חותכת לשאלת עובד, או מודה מיד שהמידע חסר במסמך.

• בדיקת שאלות כן ולא

  אימות טענות מול דוחות כספיים, תחום שבו המודל הציג דיוק של מעל תשעים ושבעה אחוזים.

איפה זה נופל

הנקודה החלשה ביותר היא מתמטיקה ולוגיקה, שם המודל קיבל ציון של 81.25 אחוז בלבד. בנוסף, הוא מאומן רשמית על השפה האנגלית, כך שאין שום הבטחה שיצליח לקרוא מסמכים בעברית או לענות בה. מי שמחפש יצירתיות, שיחות ארוכות או תשובות מפורטות יתאכזב, כי הוא מכוון בכוונה לתשובות קצרות ותמציתיות.

איך מריצים

כדי להריץ אותו בפורמט המקורי צריך כרטיס מסך עם לפחות עשרים גיגה זיכרון גרפי, בהתחשב בקבצים ששוקלים קרוב לשמונה עשרה גיגה בנקודה צפה שש עשרה ביט. אפשר לטעון אותו ישירות מספריית טרנספורמרס דרך פייתון, אבל חובה לעטוף את הקלט במבנה של יומן ובוט בדיוק לפי הפורמט, אחרת הביצועים יצנחו.

אם אין לכם שרת ייעודי פנוי, או שאתם לא רוצים לשלם על מכונה חזקה בענן רק כדי לתשאל מדי פעם חוזים, עדיף להשתמש בפתרון מנוהל דרך קריאות רשת.

ollama run hf.co/llmware/dragon-mistral-7b-v0:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 17.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin14.5 GB
• dragon-mistral-7b-q4_k_m.gguf4.4 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• dragon-mistral-7b-core_test_1113_1.jsonl70.2 KB
• dragon-mistral-7b-core_test_1113_2.jsonl69.8 KB
• dragon-mistral-7b-answer_sheet_1113_1.jsonl31.1 KB
• dragon-mistral-7b-answer_sheet_1113_2.jsonl30.7 KB
• README.md4.6 KB
• generation_test_hf_script.py2.5 KB
• generation_test_llmware_script.py2.1 KB
• .gitattributes1.6 KB
• tokenizer_config.json966 B
• config.json571 B
• generation_config.json116 B
• special_tokens_map.json72 B

הרישיון

רישיון אפאצ'י שתיים אפס מתיר שימוש מסחרי מלא בלי תשלום תמלוגים. אפשר לשלב אותו בתוך מוצר סגור, לשנות את המשקלים או להריץ אותו בשרתים פנימיים של הארגון, בתנאי ששומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗