GPT
הוספת כלי
D

dolphin-2.9.1-yi-1.5-34b

קוד פתוח

dphnapache-2.02024-05-18

  • transformers
  • safetensors
  • llama
  • text-generation
  • generated_from_trainer

גרסה נטולת סינון של Yi-1.5 בגודל 34 מיליארד פרמטרים. המודל יענה על כל הוראה בלי מעצורים, עם ציוני ידע כללי גבוהים ותמיכה בהרצת פונקציות.

  • 34Bפרמטרים
  • 8,192טוקנים בהקשר
  • 64.1 GBמשקל הקבצים
  • 4,769,152הורדות בחודש

מה זה

הצוות של דולפין לקח את הבסיס של Yi-1.5-34B וביצע עליו אימון מלא של כל המשקולות ב־16 ביט. המטרה המרכזית שלהם היא הסרת שכבות היישור וההטיה. מודלים מסחריים רגילים מסרבים לפקודות שנוגעות בנושאים רגישים, אבל כאן הסירו את החסימות האלה בכוונה כדי לקבל צייתנות מוחלטת לפרומפט, לצד יכולות כתיבת קוד, שיחה והפעלת כלים.

במדד MMLU הוא מוציא 77.4, ציון חזק מאוד לגודל של 34 מיליארד פרמטרים שמראה שהידע הכללי שלו לא נפגע מהאימון מחדש. בנוסף, המפתחים הרחיבו את חלון ההקשר המקורי מ־4k ל־8k טוקנים באמצעות שינוי rope theta למיליון, מה שנותן יותר מרווח נשימה למסמכים וקוד.

מתאים ל

  • סוכנים אוטונומיים

    תמיכה מובנית בקריאת פונקציות וצייתנות מוחלטת להוראות בלי סירובים מיותרים.

  • עוזר פיתוח מקומי

    יכולות קידוד טובות וציון MMLU גבוה שמאפשרים פתרון בעיות תכנות בלי תלות בענן.

  • מחקר ובדיקות אבטחה

    היעדר מנגנוני צנזורה מאפשר בדיקות חדירות, ניתוח חולשות ומחקר ללא חסימות מערכת.

איפה זה נופל

המודל מוגדר כלא מצונזר באופן מוצהר ומלא. הוא יענה על שאלות לא אתיות ולא יפעיל שום שיקול דעת או מנגנון בטיחות פנימי, כך שאסור לחבר אותו ישירות למשתמשי קצה בלי לבנות שכבת הגנה וסינון משלכם.

האימון התבסס בין היתר על נתונים שנוצרו באמצעות GPT-4, מה שעלול ליצור עיוותים או הזיות אופייניות לדאטה סינתטי. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, שזה מעט מאוד למשימות מודרניות של ניתוח קבצים ארוכים.

שאלות
נפוצות

האם המודל יסרב לפקודות מסוכנות?

לא. היוצרים ניקו במכוון את הדאטה מסינונים והטיות כדי ליצור מודל צייתן לחלוטין. הוא יענה על כל בקשה, כולל בקשות לא אתיות, ולכן האחריות על התוכן היא של מי שמריץ אותו.

איזה פורמט פרומפט צריך להגדיר לו?

הוא אומן על ChatML. צריך להשתמש בתגיות im_start ו־im_end כדי להגדיר תפקידי מערכת, משתמש ועוזר, אחרת איכות התשובות תרד והוא עלול לייצר פלט משובש.

איך מריצים

המשקל הגולמי שוקל 64.1 גיגה בייט בפורמט bfloat16. כדי להריץ אותו כמו שהוא בלי קוונטיזציה תצטרכו לפחות 80 גיגה של זיכרון וידאו, כלומר כרטיס A100 או שני כרטיסי 4090 אם אתם מכווצים אותו ל־4 ביט.

הפורמט הנדרש לפרומפטים הוא ChatML סטנדרטי. אם אין לכם שרת ייעודי עם חומרה כבדה ורצינית, עדיף להשתמש בבוט הטלגרם או בצ'אט הרשת שהיוצרים מציעים, במקום לנסות להחזיק תשתית כזאת עצמאית.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.1-yi-1.5-34b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את המשקולות ולהטמיע אותו במוצרים, בתנאי ששומרים על הודעת הרישיון המקורית ומציינים שינויים אם נעשו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗