corpus-creator

מה זה

מעלים לכאן קבצי טקסט רגילים ומקבלים דאטהסט מובנה שנדחף ישירות לפרופיל שלכם ב־Hugging Face. במקום להתעסק עם קוד, הממשק מרכז את כל התהליך בדפדפן ומאפשר לראות טבלה של התוצאה לפני ששומרים אותה.

מאחורי הקלעים רץ שילוב של LlamaIndex עם ספריית datasets. הקבצים נטענים דרך SimpleDirectoryReader, ועוברים פירוק למקטעים באמצעות SentenceSplitter. אתם יכולים לקבוע אם לחתוך למשפטים, וגם להגדיר ידנית את גודל המקטעים (chunk size) ואת החפיפה ביניהם (chunk overlap). בדף מקושר גם הדאטהסט davanstrien/MOH-Bethnal-Green שמראה דוגמה לסוג המאגרים שהכלי מפיק.

אחרי הטעינה והחיתוך מופיעה תצוגה מקדימה בצורת DataFrame, לצד סיכום של כמות המסמכים והמקטעים שנוצרו. משם אפשר להמשיך להעלאה סופית למאגר ציבורי או פרטי.

מתאים ל

• בניית מאגר למודלי שפה

  חיתוך מסמכים ארוכים למקטעים אחידים והעלאתם כדאטהסט לצורך אימון מודלים או RAG.

• הכנת נתונים לתיוג

  פירוק טקסטים גולמיים לחלקים קצרים ויצירת טבלה שמוכנה לייבוא בכלי תיוג.

• יצירת דאטהסטים סינתטיים

  ארגון קורפוס טקסטואלי בפורמט Hugging Face כבסיס לפרומפטים שמייצרים דוגמאות נוספות.

איפה זה נופל

הכלי מיועד לקבצי טקסט בלבד ולא מבצע ניקוי מתקדם, סינון רעשים או עיבוד מקדים מורכב מעבר לחיתוך לפי פרמטרים. אי אפשר להעלות ישירות ל־Hub בלי לבצע תצוגה מקדימה ובלי להתחבר לחשבון. אם תעלו נפחים אדירים, מעבד ה־cpu-basic עלול להיתקע, והחיתוך הסטנדרטי של LlamaIndex לא בהכרח יתאים לטקסטים בעברית שדורשים התחשבות במבנה שפה ייחודי.

איך משתמשים

מתחברים לחשבון Hugging Face דרך כפתור Login מובנה, מעלים את הקבצים ובוחרים הגדרות חיתוך. לחיצה על Update Preview מעבדת את החומר ומציגה את הטבלה. כדי לשמור, מקלידים מזהה יעד בתיבת Hub ID, מסמנים אם המאגר פרטי ולוחצים על Upload to the Hub. הכל רץ על חומרת cpu-basic בסיסית, כך שקבצים בודדים יתעבדו מהר, אבל כמות גדולה של טקסטים כבדים תיקח זמן בגלל כוח העיבוד המוגבל.

הרישיון

היוצר לא הגדיר רישיון לפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש חוזר בקוד או התחייבות כלשהי לגביו. הקבצים שאתם מעלים והדאטהסט שנוצר מועברים לחשבון שלכם ב־Hub, ורמת החשיפה שלהם נקבעת לפי הבחירה שלכם בממשק בין מאגר ציבורי לפרטי.

הרישיון המלא ב־Hugging Face ↗