Genstruct-7B

מה זה

המודל הזה בנוי על ארכיטקטורת Mistral ומיועד למשימה אחת ברורה, הפיכת טקסט חופשי למערכי נתונים של הוראות. במקום להסתמך על פרומפטים מורכבים במודלים סגורים, הוא מאומן לחלץ מתוך פסקאות שאתם מזינים לו שאלות שדורשות היגיון והסבר שלב אחר שלב, יחד עם התשובה המלאה.

לפי הטבלה של NousResearch, היתרון שלו מול שיטות כמו Few-shot או מודלים קודמים בתחום הוא שילוב של עיגון בטקסט מקור יחד עם שאלות ותשובות מורכבות. זה מונע הזיות יחסית לגישות שממציאות שאלות באוויר, ומכוון לייצר דאטה שמלמד מודלים אחרים לנמק ולא רק לזרוק עובדות.

מתאים ל

• ייצור דאטה לאימון

  הפיכת מאגרי ידע פנימיים באנגלית לזוגות של שאלה ותשובה לצורך אימון מודלים.

• בניית מבחנים והערכה

  יצירת שאלות הבנה מורכבות מתוך מאמרים ומסמכים טכניים כדי לבדוק מודלים אחרים.

• אוטומציה לסינתוז מידע

  חילוץ תרחישי חשיבה שלב אחר שלב מתוך טקסט גולמי ללא צורך בפרומפטים ידניים.

איפה זה נופל

המודל תומך רשמית באנגלית בלבד. אם תזרקו עליו טקסטים בעברית, סביר להניח שתקבלו תוצאות עילגות או שבורות לגמרי. בנוסף, הוא מיועד לייצור שאלות ותרחישים מתוך טקסט קיים, כך שלא מדובר בצ'אטבוט כללי ולא הייתי מנסה להשתמש בו לשיחה רגילה מול משתמשי קצה.

איך מריצים

המשקל עומד על 13.5 ג'יגה בייט בפורמט bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון כדי לטעון ולהריץ אותו בצורה שוטפת דרך transformers. חלון ההקשר תומך בעד 32,768 טוקנים, מה שמאפשר להזין לו מסמכים ארוכים כבסיס לחילוץ השאלות.

אם יש לכם כמות קטנה של טקסטים לעבד, להרים שרת ייעודי בשבילו זה כנראה בזבוז זמן, ועדיף להשתמש בפתרון מנוהל או במודל כללי דרך ממשק חיצוני. שווה להחזיק אותו מקומית רק כשאתם מייצרים דאטה בכמויות גדולות או כשהטקסטים שלכם רגישים ואסור להם לצאת מהתשתית הפנימית.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Genstruct-7B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• notebook.ipynb16.0 KB
• README.md9.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• config.json627 B
• special_tokens_map.json552 B
• generation_config.json111 B
• added_tokens.json21 B

הרישיון

הוא מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי מלא, שינוי של הקוד והפצה מחדש. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, כך שאין מניעה לשלב אותו בצנרת פיתוח מסחרית או להשתמש בדאטה שהוא מייצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗