Dream-v0-Instruct-7B

מה זה

מדובר במודל טקסט שמבוסס על ארכיטקטורת דיפיוז'ן, להבדיל מרוב המודלים המוכרים שרצים על חיזוי טוקנים עוקב רגיל. היוצרים שלו מציגים אותו כמודל הוראות פתוח שמכוון לביצועים גבוהים, והוא מגיע עם ארכיטקטורה עצמאית של עשרים ושמונה שכבות.

ההבדל הבולט ביותר על הנייר הוא חלון הקשר של מאה שלושים ואחד אלף טוקנים. בנפח של שבעה מיליארד פרמטרים, שילוב כזה של מנגנון דיפיוז'ן עם הקשר ארוך במיוחד הוא משהו שלא רואים בדרך כלל, וזה מה שהופך אותו לניסוי מעניין עבור מי שרוצה לבחון התנהגות שונה ביצירת פלט ארוך או בעיבוד מסמכים גדולים.

מתאים ל

• מחקר על דיפיוז'ן בטקסט

  מתאים למי שרוצה לבחון שיטות יצירת טקסט שאינן תלויות בחיזוי טוקן בודד.

• עיבוד מסמכים ארוכים

  חלון של מאה שלושים ואחד אלף טוקנים מאפשר להזין טקסטים גדולים בבת אחת.

• הפעלת הוראות מקומית

  מודל מכוונן הוראות בגודל שמתאים להרצה על תחנת עבודה יחידה עם כרטיס מתאים.

איפה זה נופל

הכרטיס מוסר מעט מאוד פרטים מעבר להפניות לקוד ולמאמר, ואין בו שום התייחסות לתמיכה בעברית או במבחני ביצועים ספציפיים. ארכיטקטורות מבוססות דיפיוז'ן לטקסט הן תחום חדש יחסית שלעיתים סובל מזמני תגובה איטיים ביצירת טקסט בהשוואה למודלים אוטורגרסיביים רגילים. חובה לבדוק את מהירות הפקת הטוקנים ואת היציבות הדקדוקית שלו לפני שמשלבים אותו במערכת פעילה.

אותה משפחה

Dream יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך עם עשרים וארבעה גיגה זיכרון לפחות, כמו RTX 3090 או A10, מכיוון שהמשקלים לבדם תופסים מעל ארבעה עשר גיגה בייט לפני חישובי ההקשר. המודל נתמך ישירות בספריית transformers הרגילה, כך שקל לשלב אותו בקוד פייתון בלי צורך במנועים מורכבים מדי.

אם אתם מתכננים לנצל את מלוא חלון ההקשר שלו, כרטיס בודד כזה כבר לא יספיק לכם בגלל צריכת הזיכרון שתקפוץ מיד. במקרים של עומס נקודתי או בדיקה ראשונית, עדיף להרים שרת ייעודי בענן לפי שעה במקום להשקיע בחומרה מקומית כבדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Dream-org/Dream-v0-Instruct-7B")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.3 GB
• model-00004-of-00004.safetensors1.1 GB
• vocab.json3.4 MB
• merges.txt1.7 MB
• modeling_dream.py36.8 KB
• model.safetensors.index.json27.8 KB
• generation_utils.py22.3 KB
• tokenization_dream.py14.0 KB
• tokenizer_config.json7.5 KB
• configuration_dream.py3.2 KB
• .gitattributes1.5 KB
• config.json927 B
• special_tokens_map.json661 B
• added_tokens.json656 B
• README.md408 B
• generation_config.json326 B

הרישיון

הרישיון הוא Apache 2.0, אחד החופשיים ביותר שיש. אפשר להשתמש בו למוצרים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי בקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗