UBW_Tapestries
קוד פתוחSicariusSicariiStuffapache-2.02025-02-28
שיחות אמיתיות ולא מסוננות מפורומים שונים בפורצ'אן, שנאספו לאורך שש שנים. המאגר מיועד לאימון מודלים שמנומסים או רובוטיים מדי, כדי לחשוף אותם לסלנג אינטרנטי, סרקזם ואי הסכמה בוטה.
- 272הורדות בחודש
- 35לייקים
מה זה
המאגר כולל אלף שיחות שנאספו בין השנים 2018 ל־2024 מלוחות שונים באתר 4chan. הטקסטים מייצגים תקשורת אותנטית וחופשית לחלוטין מתת התרבות הזו, עם דוגמאות מובהקות של שפת אינטרנט, סלנג, ביטויי סרקזם, תרבות ממים ודפוסי ויכוח שאינם עוברים דרך מסנני תקינות פוליטית.
הנתונים שמורים כקובץ JSON יחיד בשם UBW_Tapestries.json. המבנה מותאם ישירות לאימון שיחה, כאשר כל רשומה מחולקת לשלושה שדות: הוראת מערכת שכוללת את שם הלוח והנושא הרלוונטי, הודעה של אנונימי תחת שדה human, והודעת תגובה של אנונימי תחת שדה gpt. אין כאן חלוקה מובנית לסט אימון ומבחן.
מתאים ל
- הפחתת חנפנות במודלים
אימון על אי הסכמות וויכוחים אמיתיים כדי לרסן נטייה מוגזמת של מודל להסכים עם כל קביעה.
- זיהוי סרקזם ואירוניה
בניית מסווגים להבנת ביטויים עוקצניים וסלנג אינטרנטי ייחודי שלא מופיע בטקסטים מכובסים.
- הסרת סגנון רובוטי
חשיפת מודלי שיחה למבני משפטים מקוטעים, לא רשמיים וטבעיים של שיח רשת יומיומי.
איפה זה נופל
יוצר המאגר מצהיר מפורשות שלא בוצע שום סינון לתכנים פוגעניים, רעילים או לא חוקיים. כל עבודת הניקוי מוטלת עליכם לפני שתעזו להזין את הנתונים למודל. בנוסף, מדובר בטקסטים באנגלית בלבד, כך שאין כאן שום תועלת לפיתוח בעברית. אלף דוגמאות זה מדגם זעיר שמתאים בעיקר לכוונון עדין מאוד או למחקר, ולא לאימון בסיס. אם תכניסו את החומר הזה למוצר שפונה ללקוחות בלי סינון מחמיר, המודל שלכם יפלוט עלבונות וסלנג קיצוני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא. אתם לא מחויבים לפתוח את הקוד או את משקולות המודל שלכם, אך נדרש לתת ייחוס ליוצר המאגר. קחו בחשבון שהתוכן עצמו כולל שפה קשה מאוד שעלולה לסכן מוצר מסחרי.
האם יש במאגר שיחות בעברית?
לא, המאגר מוגדר ומכיל טקסטים בשפה האנגלית בלבד שנאספו מפורומים שונים באתר 4chan. אין כאן שום ייצוג לעברית או לסלנג ישראלי.
איך המידע נאסף והאם הוא עבר סינון?
הנתונים נאספו מדיונים שפורסמו בין השנים 2018 ל־2024 בפורומים שונים של האתר. יוצר המאגר לא ביצע סינון תכנים, ומציין בפירוש שמשתמשי המאגר אחראים לנקות בעצמם תכנים לא חוקיים, רעילים או פוגעניים לפני השימוש.
כמה המאגר שוקל ואיך הוא בנוי טכנית?
המאגר קטן מאוד וכולל קובץ נתונים ראשי אחד בפורמט JSON עם אלף שיחות בלבד, לצד קובץ תמונה ומסמך תיעוד. הרשומות מחולקות מראש לשדות system, human ו־gpt כך שנוח למשוך אותן ישירות לכוונון עדין.
איך טוענים
טוענים את הקובץ ישירות באמצעות ספריית הדאטהסטים של Hugging Face או בקריאת JSON פשוטה מהקובץ UBW_Tapestries.json שנמצא במאגר. אין צורך באישור גישה והמאגר פתוח לחלוטין להורדה. המאגר מכיל רק ארבעה קבצים וכולל אלף שיחות בלבד, כך שמדובר בנפח קטן מאוד שנטען תוך שניות בודדות. השדות שמעניינים אתכם הם system שמגדיר את הקשר הלוח, לצד צמד השדות human ו־gpt שמרכיבים את חילופי הדברים.
from datasets import load_dataset
ds = load_dataset("SicariusSicariiStuff/UBW_Tapestries")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את המודל המאומן או את הנגזרות תחת אותו רישיון. החובה העיקרית היא מתן קרדיט ושמירה על הודעת הרישיון המקורית. עם זאת, היוצר מבהיר שהנתונים ניתנים כפי שהם וללא אחריות לתוכן הפוגעני שבפנים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים