GPT
הוספת כלי
D

dolphin-2.9.3-mistral-nemo-12b

קוד פתוח

dphnapache-2.02024-07-23

  • transformers
  • safetensors
  • mistral
  • text-generation
  • generated_from_trainer

גרסה לא מצונזרת של מיסטרל נמו בגודל 12 מיליארד פרמטרים. היא תענה על כמעט כל בקשה בלי לחסום אתכם, ומתאימה למי שרוצה מודל צייתן לחלוטין.

  • 12Bפרמטרים
  • 1,024,000טוקנים בהקשר
  • 22.8 GBמשקל הקבצים
  • 1,449הורדות בחודש

מה זה

מדובר בכיוונון של מיסטרל נמו בידי אריק הרטפורד וקוגניטיב קומפיוטיישנס, שנבנה במטרה להסיר את שכבות היישור וההטיה המובנות. המודל מיועד לעקוב אחרי הוראות, לנהל שיחות ולכתוב קוד, וכולל יכולות ראשוניות להפעלת פונקציות וסוכנים. הוא משתמש במבנה פרומפט מסוג ChatML ומגיע עם אובדן אימות של 0.5605 בסיום שלושה מחזורי אימון.

ההבדל המשמעותי מול מודלים רגילים באותו סדר גודל הוא הסרת מנגנוני הסינון. הוא אומן על מידע שנוצר בחלקו על ידי GPT4, ופותח כך שיציית לבקשות במקום לסרב. למרות שמודל הבסיס הוגדר עם הקשר רחב, הכיוונון הנוכחי רץ על אורך רצף של 8,192 טוקנים בלבד, כך שזה הטווח המעשי שבו הוא אומן להגיב היטב.

מתאים ל

  • עוזרי פיתוח ומחקר פרטיים

    צייתנות מלאה להוראות טכניות וכתיבת קוד בלי סירובים שווא על תוכן רגיש.

  • הפעלת פונקציות וסוכנים

    תמיכה מובנית בקריאה לפונקציות במסגרת פקודות בפורמט ChatML.

  • בוטים מותאמים לשיחה

    מענה טבעי וגמיש ללא הטיות מוטמעות מראש, בתוך טווח של עד 8,192 טוקנים.

איפה זה נופל

המודל מוגדר כלא מצונזר באופן מוצהר, מה שאומר שהוא יבצע גם פקודות מזיקות או לא אתיות בלי להתנגד. אם אתם מתכוונים לפתוח אותו למשתמשי קצה, חובה להוסיף שכבת סינון משלכם לפני החשיפה לשירות. בנוסף, האימון הוגבל לאורך של 8,192 טוקנים, ולכן הוא עלול לאבד עקביות אם תנסו לנצל את כל ההקשר הפוטנציאלי של מודל הבסיס. כרטיס המודל גם לא מציג מדדי ביצועים מעבר לאובדן האימון, ולכן חובה לבדוק אותו על המשימה הספציפית שלכם.

אותה משפחה

dolphin-2.9.3-mistral-nemo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

dolphin-2.9.3-mistral-nemo-12b-gguf6,037

שאלות
נפוצות

האם המודל יסרב לבקשות בעייתיות?

לא. מפתחיו הסירו את שכבות היישור והסינון, והוא יענה כמעט על כל הוראה שתתנו לו. האחריות על התוכן ועל בניית מנגנוני הגנה חיצוניים מוטלת עליכם בלבד.

האם אפשר להשתמש בכל אורך ההקשר של מודל הבסיס?

עדיף שלא לבנות על זה. למרות שמודל הבסיס תומך בהקשר רחב מאוד, הכיוונון של דולפין התבצע על רצפים באורך 8,192 טוקנים בלבד, ושם הביצועים שלו נבדקו.

איך מריצים

כדי להריץ אותו בפורמט המקורי של bfloat16 תצטרכו לפחות 24 גיגה זיכרון גרפי בכרטיס מסך יחיד, כמו RTX 3090 או כרטיס שרתים תואם, מכיוון שמשקל הקבצים לבדו תופס כמעט 23 גיגה. אם הזיכרון אצלכם מוגבל, תצטרכו להשתמש בכימות או לפנות לשרת ענן ייעודי.

הרצה מקומית משתלמת בעיקר כשאתם זקוקים לפרטיות מוחלטת או רוצים להימנע מסינונים של שירותי צד שלישי. אם אתם רק בודקים את היכולות שלו לפרויקט מזדמן, פריסה זמנית בענן לפי שעה תחסוך לכם תחזוקת חומרה יקרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.3-mistral-nemo-12b")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י 2.0 שמתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה. אתם יכולים לשלב אותו במוצרים מסחריים בלי לשלם תמלוגים, אך הכרטיס מדגיש שאתם נושאים באחריות המלאה לכל תוכן שנוצר דרכו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗