GPT
הוספת כלי
L

lucid-v1-nemo

קוד פתוח

dreamgenother2025-04-16

  • transformers
  • safetensors
  • mistral
  • text-generation
  • axolotl

מודל מבוסס מיסטרל של 12 מיליארד פרמטרים שתוכנן ספציפית למשחקי תפקידים וכתיבת סיפורים. הוא יודע לחלק בעצמו תפקידים בין כמה דמויות ולנהל עלילה לפי הוראות מובנות.

  • 12Bפרמטרים
  • 131,072טוקנים בהקשר
  • 22.9 GBמשקל הקבצים
  • 89,658הורדות בחודש

מה זה

הבסיס כאן הוא ארכיטקטורת MistralForCausalLM בגודל 12B, אבל ההתאמה הפנימית שונה לגמרי ממודלי שיחה רגילים. DreamGen הרחיבו את הפורמט המוכר של Llama 3 והוסיפו תפקיד ייעודי של כותב. המשמעות היא שהמודל לא עונה כמו צ׳אטבוט טיפוסי, אלא מפריד בין קריינות, תגובות של דמויות שונות והוראות בימוי חיצוניות של המשתמש. הוא יכול לחזות את כותרות התפקידים בעצמו ולייצר רצף של כמה הודעות בין דמויות שונות בריצה אחת.

בנוסף לכתיבה עלילתית, שולבו בו טוקנים מיוחדים לחשיבה מאחורי הקלעים, אבל זה מנגנון שצריך להפעיל במפורש בהנחיה. אין בכרטיס המודל מבחני ביצועים כמותיים או ציונים השוואתיים, כך שקשה לדעת איך הוא מתמודד מול מודלים אחרים על משימות סטנדרטיות, והדגש כולו הוא על כתיבה חופשית, שליטה בקצב הסיפור ותמיכה במבני תרחיש מפורטים.

מתאים ל

  • משחקי תפקידים מרובי דמויות

    הוא מנהל דיאלוגים מורכבים ומחליף בעצמו בין דמויות וקריינות.

  • כתיבת סיפורים עם הוראות בימוי

    הוא מגיב ישירות להנחיות חיצוניות על קצב העלילה והתפתחות הסיפור.

  • בניית עולמות ותרחישים מובנים

    הוא יודע לקרוא מפרטים מפורטים של מקומות וחפצים בפורמט מרקדאון או XML.

איפה זה נופל

המפתחים מודים במפורש שמנגנון החשיבה לא באמת משפר את התוצאות בגודל הזה כמו במודלים גדולים יותר, אלא בעיקר מייצר שלבי מחשבה שנראים הגיוניים בלי תועלת משמעותית. בנוסף, המודל מוגדר עבור השפה האנגלית בלבד, ואין שום תיעוד או בדיקה לגבי תמיכה בעברית, כך שסביר להניח שהוא יגמגם או ייכשל לחלוטין בשפות אחרות. הוא מיועד למשחקי תפקידים וכתיבה, ולא מומלץ להסתמך עליו כמנוע לקוד, פתרון בעיות מתמטיות או עוזר כללי.

שאלות
נפוצות

האם כדאי להפעיל את מנגנון החשיבה במודל הזה?

לא ממש, במיוחד אם אתם מתמקדים בכתיבה יצירתית. המפתחים מציינים שבמודל של 12B החשיבה מיועדת בעיקר למשימות ידע או מתמטיקה, וגם בהן היא מייצרת תהליך שנראה אמין אבל לא משפרת את התוצאה הסופית באופן ניכר.

איך המודל יודע מתי לדבר כדמות ומתי כקריין?

הוא אומן על תבנית הנחיות שמרחיבה את הפורמט של Llama 3 עם תפקיד ייעודי. המודל חוזה בעצמו את תגיות הפתיחה של הדמות או הקריין, ויכול לייצר כמה קטעים נפרדים בריצה בודדת.

אפשר להשתמש בו לאפליקציה בעברית?

המודל מאומן ומתועד עבור אנגלית בלבד. לא הייתי בונה עליו שום תשתית בעברית, כי אין עליה תמיכה מוצהרת והתוצאות צפויות להיות שבורות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־22.9 גיגה בייט בפורמט bfloat16. כדי להריץ אותו בלי דחיסה על כרטיס בודד, צריך חומרה עם לפחות 24 גיגה בייט זיכרון גרפי, וזה עוד לפני שמנצלים את חלון ההקשר המלא של 131,072 טוקנים, שזולל המון זיכרון בפני עצמו.

אפשר להריץ אותו מקומית דרך ספריית transformers או להשתמש ב־API החינמי של DreamGen לפי התיעוד בכרטיס. אם אין לכם חומרה מתאימה להחזיק מודל כזה יחד עם הקשר ארוך, הקריאה לשרת שלהם תחסוך את כאב הראש של הניהול המקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="dreamgen/lucid-v1-nemo")
print(pipe("שלום"))

הקבצים

69 קבצים במאגר, 22.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other בלי קישור לתנאים ספציפיים בגוף הכרטיס. זה אומר שאין לכם היתר שימוש מסחרי ברור, ואסור לשלב אותו במוצר עסקי בלי לברר קודם מול היוצרים מה ההגבלות האמיתיות שהם קבעו.

הרישיון המלא בעמוד המודל ↗