Bespoke-MiniCheck-7B

מה זה

במקום להשתמש במודל שיחה כללי שינסח תשובה ארוכה, מקבלים כאן מסווג שמקבל מסמך ומשפט בודד, ומוציא אפס או אחד לפי השאלה אם המסמך תומך בטענה. הבסיס שלו הוא internlm2_5-7b-chat, והוא אומן על 35 אלף דוגמאות בלבד, חלקן נתונים סינתטיים שנוצרו עם Llama-3.1-405B.

בבדיקה שפורסמה בכרטיס על בנצ'מרק LLM-AggreFact, שמבוסס על 11 מאגרי מידע מתויגים, המודל מציג דיוק מאוזן גבוה יותר מחלופות קטנות יותר כמו DeBERTa או RoBERTa. המשמעות בפועל היא פחות פספוסים של הזיות בטקסטים ארוכים, בלי הצורך לתחזק מודל ענק רק בשביל בדיקת אמינות.

מתאים ל

• בדיקת הזיות במערכות RAG

  אימות מהיר של כל משפט שהמערכת פולטת ישירות מול פסקאות המקור שנשלפו מהמאגר.

• בקרת איכות לסיכומי טקסט

  מעבר שורה אחר שורה על תקציר שנוצר אוטומטית כדי לוודא שאין בו פרטים שלא הופיעו במקור.

• סינון דאטה לאימון מודלים

  ניקוי סטים של שאלות ותשובות לפני אימון, על ידי סינון תשובות שלא נשענות על הקשר נתון.

איפה זה נופל

הוא לא יודע לקבל פסקאות ארוכות בתור טענה. חובה לפרק את הטקסט שרוצים לבדוק למשפטים בודדים לפני ששולחים אליו, אחרת הדיוק יורד משמעותית. בנוסף, המודל אומן ותועד באנגלית בלבד, כך שאין שום הבטחה שיזהה עובדות או הטעיות בעברית. גם אם המסמך נכנס בחלון של 32K טוקנים, חלוקה שגויה של הטענות תוביל לתוצאות לא אמינות.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון לעבודה רגילה, או כרטיס חזק יותר כמו A6000 עם 48 גיגה אם רוצים לנצל את מלוא הקצב של vLLM, שמגיע ליותר מ־500 מסמכים בדקה לפי הבדיקות שלהם. המודל תומך בזיכרון מטמון אוטומטי של קידומות, מה שחוסך חישוב מחדש כשבודקים כמה טענות שונות מול אותו מסמך מקור.

אם אין לכם שרת עם GPU זמין ואתם בודקים רק כמה עשרות מסמכים ביום, החומרה הזו לא מצדיקה את העלות. במצב כזה, עדיף לבדוק את הגרסאות הקטנות יותר של MiniCheck שמבוססות על T5 או DeBERTa ורצות בקלות גם על מעבד רגיל.

pip install -U huggingface_hub
hf download bespokelabs/Bespoke-MiniCheck-7B

הקבצים

22 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors758.2 MB
• tokenizer.json5.8 MB
• tokenizer.model1.5 MB
• performance.png522.3 KB
• Bespoke-Labs-Logo-White-on-Red.png104.9 KB
• modeling_internlm2.py80.7 KB
• tokenizer_config.json37.4 KB
• Bespoke-Labs-Logo.png19.7 KB
• model.safetensors.index.json18.2 KB
• configuration_internlm2.py8.8 KB
• tokenization_internlm2.py8.8 KB
• tokenization_internlm2_fast.py7.8 KB
• README.md7.5 KB
• .gitattributes1.5 KB
• config.json990 B
• special_tokens_map.json713 B
• added_tokens.json189 B
• License.md164 B
• generation_config.json123 B

הרישיון

המודל שוחרר תחת רישיון CC BY-NC 4.0, מה שאומר שאסור להשתמש בו ישירות בתוך שירות או מוצר מסחרי. מי שרוצה להריץ אותו בסביבה עסקית או כחלק ממוצר בתשלום צריך לפנות ליוצרים ולקנות רישיון מסחרי ייעודי.

הרישיון המלא בעמוד המודל ↗