חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
N

nougat-transformers

רץ בדפדפן

hf-visionapache-2.02023-09-20

  • gradio

המרת מאמרים אקדמיים מקובצי PDF ישירות לטקסט מעוצב בפורמט מרקדאון. מיועד לחוקרים שרוצים לחלץ נוסחאות מתמטיות ומבנה של מאמר בלי להסתבך עם העתקה ידנית.

  • —הורדות בחודש
  • 74לייקים

מה זה

מעלים קובץ PDF בודד או מדביקים קישור ישיר למאמר ממאגר arxiv. הפלט מציג את הטקסט המומר בפורמט מרקדאון על המסך, ונותן קישור להורדת קובץ txt שמכיל את התוכן.

מאחורי הקלעים רץ המודל facebook/nougat-small של חברת מטא במימוש של ספריית transformers. התהליך לוקח את עמודי המאמר, הופך אותם לתמונות באמצעות rasterize_paper, ומפעיל מודל ראייה ושפה שקורא את הדף ומייצר את התוכן המעוצב. בממשק הוגדרו דוגמאות מוכנות מראש שנשמרו בזיכרון מטמון כדי לאפשר בדיקה מהירה של התוצאות.

מתאים ל

  • חילוץ נוסחאות ממאמרים

    המרת מאמרים מתמטיים מ־arxiv לקוד מרקדאון ו־LaTeX תקין במקום להקליד מחדש.

  • קריאת PDF מדעי כטקסט

    הפיכת קובץ PDF אקדמי לקובץ txt פשוט לעיבוד בכלים חיצוניים.

  • בדיקת המודל של מטא

    התנסות מהירה ביכולות הזיהוי של nougat-small על דוגמאות מובנות.

איפה זה נופל

האפליקציה נמצאת במצב מושהה ולכן היא לא תעבד קבצים שתזינו כרגע. המודל שנטען בקוד הוא nougat-small בלבד, גרסה קלה ומצומצמת של הכלי המקורי. בנוסף, המערכת מותאמת למאמרים מדעיים באנגלית עם נוסחאות, כך שמסמכים משרדיים רגילים, עברית או טבלאות מורכבות בעמודות מרובות עלולים להניב תוצאות חלקיות.

שאלות
נפוצות

האם האפליקציה עובדת בחינם כרגע?

השימוש בדף הוא חינמי לגמרי ואינו דורש תשלום. עם זאת, המרחב נמצא כרגע במצב מושהה על ידי היוצרים, כך שאי אפשר להריץ עיבודים בפועל. ניתן לצפות בקוד המקור ובממשק, אך כדי להשתמש בו יש להמתין להפעלתו או לשכפל את המרחב.

מה קורה עם קובצי ה־PDF שמעלים?

הקבצים נשלחים לעיבוד מקומי בשרת שמריץ את מופע ה־Gradio. הממשק כולל כפתור איפוס שמנקה את הקלט והפלט מהתצוגה, אך הקוד שומר קבצים זמניים על הדיסק במהלך הריצה. לכן לא מומלץ להעלות מסמכים רגישים או חסויים.

כמה זמן לוקח התהליך הזה?

העיבוד דורש המרה של עמודי ה־PDF לתמונות והרצה של מודל ראייה ממוחשבת. על כרטיס A10G זה לוקח בדרך כלל בין כמה שניות לחצי דקה לעמוד. מאמרים ארוכים במיוחד ידרשו זמן עיבוד ממושך יותר.

האם אפשר להריץ את הכלי הזה במחשב האישי?

כן, הקוד מבוסס על ספריות פתוחות וזמין לצפייה מלאה. אפשר להתקין את transformers ואת חבילת nougat, ולהריץ את המודל facebook/nougat-small על כרטיס מסך ביתי. תצטרכו סביבת פייתון מתאימה ומעבד גרפי עם מספיק זיכרון.

איך משתמשים

גוררים קובץ PDF לתיבת ההעלאה או מזינים קישור למאמר, ולוחצים על הכפתור Run Nougat. אין צורך בהרשמה או התחברות לחשבון. ההדגמה מוגדרת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה בעזרת ספריית spaces, אך כרגע המרחב נמצא במצב PAUSED ולכן אי אפשר להריץ אותו ישירות בדפדפן עד שהמנהלים יפעילו אותו מחדש.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 שמתיר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי. הקבצים שמעלים מעובדים במרחב של Hugging Face, ואין בקוד התחייבות לפרטיות המסמכים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗