Lumimaid-v0.2-12B

מה זה

מדובר בכיוונון עדין למודל Mistral-Nemo-Instruct-2407 שיושב על ארכיטקטורת MistralForCausalLM עם 40 שכבות. המטרה המרכזית בגרסה 0.2 הייתה מחיקה וסינון של תשובות נוסחתיות ומרוחות, מה שמכונה בעולם המודלים slop. לצורך כך שילבו מאגרי שיחות סינתטיים מבוססי קלוד 3, דאטה־סטים של כתיבה יוצרת ותרחישי משחק תפקידים אפלים.

הבסיס מגיע עם חלון הקשר ענק שמגיע תיאורטית עד 1,024,000 טוקנים. זה אומר שאפשר להחזיק היסטוריית שיחה ארוכה במיוחד בלי לאבד את ההקשר, כל עוד החומרה מאפשרת את זה. המפתחים לא צירפו מדידות ביצועים מספריות או בנצ'מרקים בכרטיס, כך שהשיפוט נשען על איכות הטקסט והעקביות בלבד.

מתאים ל

• משחקי תפקידים בטקסט

  הוא אומן על מגוון מאגרי משחקי תפקידים ועבר ניקוי של תגובות שבלוניות, מה שמתאים לדיאלוגים מורכבים.

• כתיבה יוצרת ועלילתית

  מאגרי כתיבה כמו WritingPrompts ושיחות קלוד מקנים לו סגנון עשיר שמתאים לטיוטות סיפורים.

• בדיקת שיחות ארוכות טווח

  חלון ההקשר הגדול מאפשר לבחון איך המודל זוכר פרטים עלילתיים מורכבים לאורך שיחה מתמשכת.

איפה זה נופל

הכרטיס לא כולל שום מדידה מספרית, אין נתוני בנצ'מרק של MMLU או מבחני חשיבה אחרים. הדגש כאן הוא על שיחה וכתיבה, ולכן לא הייתי סומך עליו במשימות קוד, חילוץ מידע מובנה או פתרון בעיות לוגיות מורכבות. בנוסף, האימון כולל דאטה־סטים כמו ToxicQA ושיחות לא מסוננות, כך שהמודל עלול לייצר תוכן בוטה, פוגעני או רעיל בלי אזהרה מוקדמת.

אותה משפחה

Lumimaid יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 22.8 ג'יגה־בייט בפורמט bfloat16 ומחולקים ל־13 קבצים. כדי להריץ אותו מקומית ברמת דיוק מלאה תצטרכו כרטיס מסך עם לפחות 24 ג'יגה זיכרון, כמו RTX 3090 או RTX 4090, וגם אז כנראה תצטרכו לכווץ אותו לגרסאות 4 או 8 ביט כדי לשמור מקום לזיכרון הקשר רחב.

המודל דורש את תבנית ההוראות המקורית של מיסטרל עם תגי INST. היוצרים ממליצים בפירוש להשתמש בטמפרטורה נמוכה בגלל התנהגות מודל הבסיס, ולבדוק ערכים שונים בהתאם לתוצאה.

from transformers import pipeline

pipe = pipeline("text-generation", model="NeverSleep/Lumimaid-v0.2-12B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors4.9 GB
• model-00001-of-00005.safetensors4.9 GB
• tokenizer.json9.3 MB
• tokenizer_config.json177.8 KB
• model.safetensors.index.json29.9 KB
• README.md3.8 KB
• .gitattributes1.5 KB
• config.json679 B
• special_tokens_map.json552 B
• generation_config.json137 B

הרישיון

המודל שוחרר תחת רישיון cc-by-nc-4.0. המשמעות ברורה וחדה, אסור להשתמש בו בשום צורה מסחרית או לשלב אותו במוצר שמייצר הכנסות. הוא מיועד למחקר, ניסויים אישיים ופיתוח עצמי בלבד, תוך מתן קרדיט ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗