HTML-to-Markdown
רץ בדפדפןmaxiwרישיון לא דווח2024-09-11
הדגמה שממירה קוד HTML לטקסט מעוצב במרקדאון באמצעות מודלים ייעודיים. היא מתאימה למפתחים שרוצים לבדוק איך מודלי שפה קטנים מחלצים תוכן נקי מדפי אינטרנט.
- —הורדות בחודש
- 46לייקים
מה זה
מדביקים קוד HTML גולמי לתוך שדה טקסט, ובוחרים באחד משני מודלים של חברת ג'ינה: reader-lm-0.5b הקל יותר או reader-lm-1.5b הכבד יותר. המערכת מפיקה במקביל שתי תוצאות שונות להשוואה מהירה, אחת שנוצרה על ידי מודל השפה הנבחר ואחת שנוצרה באמצעות כלי המרה מבוסס כללים רגיל בשם markdownify.
הממשק מכיל דוגמאות מובנות שמורצות מראש כדי להראות איך האלגוריתמים מתמודדים עם מבני קוד שונים. המטרה המרכזית היא לבחון אם מודל שפה קטן מסוגל לסנן תגיות מיותרות, רעשי רקע ומבנים שבורים טוב יותר מספריות תוכנה מסורתיות שלא מפעילות שיקול דעת.
מתאים ל
- השוואת חילוץ תוכן
בדיקת איכות ההמרה של מודל שפה מול ספריית קוד רגילה על אותו דף HTML בדיוק.
- ניקוי דפי אינטרנט
חילוץ המאמר העיקרי מתוך עמוד אינטרנט עמוס בתגיות עיצוב לקריאה נוחה.
- בדיקת מודלים קטנים
בחינה של ביצועי reader-lm בגרסת חצי מיליארד פרמטרים מול גרסת מיליארד וחצי.
איפה זה נופל
הבעיה הגדולה ביותר כרגע היא שהכלי פשוט קרס ולא עובד בגלל שגיאת הרצה. בנוסף, מודלי שפה עלולים להמציא תוכן או להשמיט חלקים מהמסמך במקום לבצע העתקה מדויקת, בניגוד לספריית markdownify שממירה ישירות לפי תגיות. יש גם מגבלת אורך על כמות הטקסט שמודל כזה יכול לקבל בבת אחת.
שאלות
נפוצות
האם הכלי הזה עובד כרגע?
לא, כרגע הדף מדווח על RUNTIME_ERROR ואי אפשר להשתמש בו. תצטרכו להמתין שהמפתח יתקן את הקוד, או להוריד את הקבצים ולהריץ אותם במחשב שלכם.
האם השימוש בהדגמה כרוך בתשלום?
הפתיחה בדפדפן היא בחינם לגמרי ולא דורשת להזין כרטיס אשראי. החומרה מוקצית אוטומטית על גבי התשתית הציבורית של האתר. עם זאת, כל עוד התקלה נמשכת אין אפשרות להפיק ממנו תועלת.
אפשר להריץ את המערכת הזו באופן מקומי?
כן, הקוד משתמש בספריות מוכרות כמו transformers ו־gradio, והמודלים של jinaai פתוחים להורדה. צריך מחשב עם כרטיס מסך מתאים וסביבת פייתון כדי להריץ את app.py באופן עצמאי.
מה ההבדל בין שתי התוצאות שהמערכת מציגה?
צד אחד מציג פלט של מודל בינה מלאכותית שמנסה להבין את הטקסט ולתרגם אותו למרקדאון נקי. הצד השני משתמש בכלי markdownify שממיר כל תגית HTML באופן טכני ועיוור.
איך משתמשים
בפועל בוחרים מודל מתוך הרשימה, מדביקים את ה־HTML ולוחצים על Submit, או פשוט לוחצים על אחת הדוגמאות השמורות מראש. השרת מוגדר לרוץ על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, מה שאמור לספק תשובה תוך שניות בודדות ללא צורך בהרשמה או התחברות.
למרות החומרה המהירה, כרגע מדווח שהיישום נמצא במצב של תקלת הרצה (RUNTIME_ERROR). זה אומר שאי אפשר להריץ בו המרות חדשות באופן ישיר בדפדפן עד שיוצר הקוד יתקן את הבעיה.
הרישיון
הרישיון של המרחב הזה לא דווח. זה אומר שאין אישור מפורש לשימוש מסחרי בקוד של ההדגמה עצמה, ולא ברור אילו זכויות יש לכם על תוכן שאתם מעלים ומעבדים שם.