GPT
הוספת כלי
D

dolphin-2.9.2-qwen2-72b

קוד פתוח

dphnother2024-05-27

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • generated_from_trainer

גרסה נטולת צנזורה על בסיס מודל חזק במיוחד עם 73 מיליארד פרמטרים. הוא יענה לכם על כל פרומפט בלי להטיף מוסר או לסרב לפקודות.

  • 73Bפרמטרים
  • 131,072טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 716הורדות בחודש

מה זה

המודל מבוסס על Qwen2-72B ועבר אימון מלא על ידי Cognitive Computations כדי להסיר לחלוטין את מנגנוני הריסון וההטיות המובנים. הוא תומך בהפעלת פונקציות, מציג יכולות התחלתיות כסוכן אוטונומי, ומתאים למשימות קוד, ניהול שיחה ומעקב אחרי הוראות מורכבות במבנה פרומפט של ChatML.

במבחני הביצועים של Open LLM Leaderboard הוא הגיע לממוצע של 32 נקודות, עם 49.52 בבחינת MMLU-PRO וציון של 47.7 ב־BBH. התוצאות מראות שמדובר בכלי עם ידע רחב והבנה לוגית טובה, אבל הוא פחות מבריק במתמטיקה מורכבת ברמה חמש שבה הוציא 21.37 בלבד, ובמבחן GPQA שבו רשם 16 נקודות.

מתאים ל

  • עוזר פיתוח וקוד

    הוא אומן על יכולות תכנות ומעקב פקודות, ויעבוד מצוין בכתיבת סקריפטים ופתרון באגים.

  • סוכן לפקודות וכלים

    בזכות תמיכה ב־function calling ויכולות סוכן, הוא מתאים להפעלת שירותים חיצוניים.

  • עיבוד טקסט ללא סינון

    מתאים לניתוח טקסטים רגישים שחוסמים מודלים מסחריים רגילים, בלי שיסרב לבצע את הפקודה.

איפה זה נופל

הסרת הצנזורה הופכת אותו לצייתן לחלוטין, מה שאומר שהוא יבצע גם פקודות מזיקות ולא אתיות בלי שום התנגדות. אם אתם מתכננים להנגיש אותו למשתמשי קצה במוצר שלכם, חובה לבנות שכבת הגנה וסינון משלכם לפני שהפלט יוצא החוצה. בנוסף, נתוני האימון כללו דאטה שנוצר ממודלים כמו GPT4, עובדה שעלולה להגביל שימושים מסוימים מול תנאי השימוש של חברות אחרות.

אותה משפחה

dolphin-2.9.2-qwen2 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

dolphin-2.9.2-qwen2-7b-gguf2,696 dolphin-2.9.2-qwen2-7b886

שאלות
נפוצות

האם המודל יסרב לפקודות שקשורות בנושאים רגישים?

לא. הסינון וההטיות הוסרו מדאטה האימון במכוון. הוא יבצע כל הנחיה שתתנו לו, ולכן האחריות על בקרת התוכן עוברת אליכם.

האם אפשר להשתמש בחלון הקשר של 128k טוקנים?

הארכיטקטורה הבסיסית תומכת בחלון כזה, אבל שלב ה־fine-tuning בוצע על רצפים של 8,000 טוקנים בלבד. כדאי לבדוק את יציבות התשובות כשמעמיסים עליו קלטים ארוכים בהרבה.

איך מריצים

כדי להריץ מפלצת של 135 ג'יגה בייט בדיוק bfloat16 דרוש שרת רציני עם כמה כרטיסי GPU חזקים, למשל צביר של שמונה כרטיסי H100 כמו זה ששימש לאימון שלו. אם אין לכם גישה לתשתיות כאלה בחברה, עדיף להמתין לגרסאות מכווצות או לצרוך אותו דרך ספק צד שלישי.

המודל נשען על ספריית transformers הסטנדרטית. המפתחים אימנו אותו על אורך רצף של 8,000 טוקנים, למרות שבסיס המודל תומך בחלון של עד 128k טוקנים, כך שמעבר לאורך הזה הביצועים עשויים לרדת ללא התאמות נוספות.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.2-qwen2-72b")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט כפוף לרישיון tongyi-qianwen של מודל הבסיס, והיוצרים מתירים כל שימוש, כולל מסחרי, כל עוד עומדים בתנאים שלו. עם זאת, ברישום הרשמי מופיע סיווג other, כך שמומלץ לקרוא את נוסח הרישיון המקורי של עליבאבא לפני שילוב שלו במערכת מסחרית.

הרישיון המלא בעמוד המודל ↗