pdf2dataset
רץ בדפדפןpdf2datasetרישיון לא דווח2024-06-12
מעלים קובצי PDF והופכים אותם ישירות למאגר נתונים ביוזר שלכם ב־Hugging Face. מתאים למי שבונה קורפוס טקסט מקבצים קיימים וצריך אותם בפורמט dataset בלי לכתוב סקריפטים.
- —הורדות בחודש
- 104לייקים
מה זה
מעלים קובץ PDF אחד או כמה ביחד, ממלאים פרטי משתמש, שם למאגר וטוקן אישי, והקוד מחלץ את הטקסט ומעלה אותו ישירות לחשבון שלכם. בתוך הממשק רואים טבלת תצוגה מקדימה של הנתונים שהופקו, ומיד מקבלים שורת קוד מוכנה שמאפשרת למשוך את המאגר באמצעות הספרייה הרשמית.
מתחת למכסה המנוע אין כאן מודל שפה או בינה מלאכותית מורכבת. כל הסיפור נשען על הספרייה pypdf לקריאת הטקסט מתוך הקבצים, יחד עם pandas וספריית datasets של Hugging Face כדי לארוז הכל ולדחוף לשרתים דרך ה־API.
מתאים ל
- איסוף טקסט ממאמרים
חילוץ מהיר של גוף הטקסט מתוך ערימת מאמרים דיגיטליים ישירות למאגר נתונים מוכן לעבודה.
- הכנת דאטהסט לאימון
המרה של ספריות מסמכים פנימיים למבנה טבלאי של Hugging Face בלי לכתוב קוד חילוץ ידני.
- אחסון מסמכים מרוכז
דחיפת תוכן טקסטואלי מקבצי PDF מרובים ישירות לחשבון פרטי לצורך משיכה נוחה בסקריפטים.
איפה זה נופל
זה לא כלי OCR. מאחר שהקוד משתמש ב־pypdf פשוט, מסמכים סרוקים או תמונות בתוך PDF ייצאו ריקים לגמרי או ישבשו את החילוץ עם שגיאה. בעברית, ספריות כאלה נוטות להפוך אותיות או לבלבל כיווניות וסדר מילים, כך שחייבים לבדוק היטב את התצוגה המקדימה לפני שמשתמשים בתוצאה לאימון.
שאלות
נפוצות
האם השימוש בחינם?
כן, הממשק פתוח ואינו דורש תשלום. אתם רק צריכים חשבון וטוקן גישה מתאים מ־Hugging Face כדי לאפשר לו לכתוב ליוזר שלכם.
מה קורה למסמכים שמועלים לשם?
הטקסט מחולץ ונשלח כמאגר נתונים ישירות לחשבון שלכם. אם סימנתם את האפשרות Private, המאגר שייווצר יישאר פרטי ולא יהיה פתוח לציבור.
אפשר למחוק מאגר שנוצר בטעות?
כן, הממשק כולל שדה וכפתור ייעודי למחיקת מאגרים מהחשבון. מזינים את שם המאגר ולוחצים על כפתור המחיקה שקורא ל־API ומסיר אותו.
איך זה יתמודד עם מסמכים בעברית?
pypdf לרוב מתקשה עם שפות שנכתבות מימין לשמאל ומחזירה טקסט הפוך. מומלץ להעלות קובץ קטן לבדיקה ולראות איך הוא נראה בטבלת התצוגה המקדימה.
איך משתמשים
גוררים את הקבצים לאזור ההעלאה ופותחים את התפריט שבו מכניסים יוזר, שם מאגר, טוקן כתיבה וסימון אם להגדיר אותו כפרטי. לחיצה על כפתור ההמרה שולחת את התהליך לדרך, כשפס התקדמות מציג את הסטטוס. הכל רץ על מעבד בסיסי בלבד, כך שאם תעלו עשרות מסמכים כבדים זה ייקח זמן, והממשק דורש טוקן אישי פעיל כדי לעבוד.
הרישיון
הרישיון של הקוד לא דווח בעמוד. זה אומר שאין היתר שימוש מסודר בקוד עצמו לפרויקטים מסחריים. לגבי המידע שאתם מעלים, הוא מועבר ל־Hugging Face לפי הטוקן וההגדרות שלכם, כולל אפשרות לסמן את המאגר כפרטי.