dolphin-2_6-phi-2

מה זה

הבסיס כאן הוא המודל הקומפקטי של מיקרוסופט, אבל אריק הרטפורד ופרננדו פרננדס אימנו אותו מחדש כדי להעיף החוצה את מנגנוני הסינון וההטיה המקוריים. בגרסה הזו הם הכניסו נתונים מפרויקט קפיברה והחזירו דאטה שמיועד לייצר אמפתיה בשיחה. האימון עצמו לקח יומיים על ארבעה כרטיסי מסך מסוג A100 באמצעות אקסולוטל, תוך שימוש בפורמט צ'אט אמ אל.

במדדי הביצועים הוא מגיע לממוצע של 61.7 בלוח המובילים הפתוח. הוא עומד יפה במשימות היגיון כמו הלאסוואג ווינוגרנדה עם ציון של סביב 75, אבל בבדיקת אמינות מול עובדות הוא משיג רק 47.39. זה אומר שהוא יודע לנתח ולעקוב אחרי הוראות, אבל נוטה להמציא דברים בביטחון מלא כשמאתגרים אותו בעובדות יבשות.

מתאים ל

• סוכן שיחה אישי באנגלית

  אימון האמפתיה ופורמט השיחה מתאימים לצ'אט ישיר וקולח, כל עוד שומרים על שיחה קצרה שלא עוברת את מגבלת ההקשר.

• ביצוע משימות ללא מעצורים

  ניתוח טקסטים או כתיבה של חומרים שמערכות סגורות חוסמות מיד, בזכות ביטול מנגנוני הסינון המובנים.

• ניסויי קוד מקומיים

  מודל בסיסי קל להתקנה ואימון עצמי למפתחים שרוצים לבדוק התנהגות מודלים קטנים על גבי תשתית עצמאית.

איפה זה נופל

היוצרים מבהירים במפורש שהמודל הזה לא מצונזר בכלל. הוא יבצע כל בקשה שתתנו לו, כולל דברים לא אתיים, מסוכנים או שגויים, בלי שום שכבת הגנה פנימית. אסור לשים אותו מול משתמשי קצה בלי לבנות מעטפת סינון ואבטחה חיצונית משלכם. בנוסף, חלון ההקשר שלו נעצר באלפיים וארבעים ושמונה טוקנים בלבד, כך שהוא ייחנק בשיחות ארוכות או בניתוח מסמכים רציניים, והשפה היחידה שנתמכת בו רשמית היא אנגלית.

איך מריצים

המודל שוקל מעל עשרה גיגהבייט בקבצי המקור שלו בדיוק של 16 ביט, מה שדורש כרטיס מסך עם לפחות 12 גיגהבייט זיכרון כדי לטעון אותו כמו שהוא. בספריית טרנספורמרס צריך להגדיר במפורש אישור להרצת קוד מרוחק בגלל הארכיטקטורה שלו.

בגלל המשקל, הרצה ישירה של הקבצים האלה במחשב רגיל בלי כרטיס מתאים תהיה כבדה ואיטית. אם אתם לא מחזיקים שרת ייעודי או מתכוונים לכווץ אותו בעצמכם לפורמטים קלים יותר, עדיף להשתמש במודל גדול יותר דרך שירות ענן חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2_6-phi-2")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 10.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin5.0 GB
• model-00001-of-00002.safetensors5.0 GB
• pytorch_model-00002-of-00002.bin583.8 MB
• model-00002-of-00002.safetensors583.8 MB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• modeling_phi.py33.7 KB
• model.safetensors.index.json25.8 KB
• pytorch_model.bin.index.json24.5 KB
• LICENSE10.1 KB
• tokenizer_config.json8.0 KB
• README.md6.5 KB
• configs/phi-dolphin-qlora.yml2.3 KB
• configuration_phi.py2.0 KB
• .gitattributes1.5 KB
• added_tokens.json1.1 KB
• config.json782 B
• special_tokens_map.json584 B
• generation_config.json74 B

הרישיון

המודל מופץ תחת רישיון MIT. זה רישיון מתירני שמאפשר לכם להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים שלכם ולעשות איתו כמעט הכל, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית. האחריות על התכנים שהוא מייצר היא כולה עליכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗