מה זה Model Collapse? איך תוכן שנוצר ב-AI עלול לפגוע בדורות הבאים של מודלי AI
עודכן: 18 באוג׳
הגדרה חשובה: Model Collapse הוא תהליך שבו איכותם או הייצוג שלהם של המציאות עלולים להידרדר לאורך דורות של מודלים, כאשר פלט שנוצר על ידי מודלים קודמים נכנס שוב ושוב לנתוני האימון.
האם ה-AI מתחיל להיכנס ללופ הרסני שבו הוא לומד בעיקר מעצמו? קבלו מאמר קצר של שתי שניות על המושג המרתק - Model Collapse.
אנחנו רגילים לדבר על AI Slop - הצפה של תוכן רדוד שנוצר בכמויות על ידי בינה מלאכותית. בדרך כלל אנחנו חושבים על הנזק שהוא גורם לבני אדם שצורכים אותו.
אבל מה אם גם הבינה המלאכותית עצמה מתחילה להיפגע ממנו?
המושג Model Collapse מתייחס למצב שבו מודלי AI מתאמנים יותר ויותר על תוכן שנוצר על ידי מודלי AI אחרים, ופחות על תוכן אנושי מקורי (כמו בתחילת הדרך).
ככל שהזמן עובר, יותר ויותר תוכן נוצר ע״י בינה מלאכותית, ואז אותו מידע חוזר חזרה ללמידה של ממודלי AI - ומפה מתחילה הבעיה.
זה דומה למצב של צילום של צילום של צילום. בכל העתק רוב התמונה נשארת, אבל חלק מהפרטים יילכו לאיבוד.
לאורך זמן המודלים יאבדו חלק מהמגוון, היצירתיות והמקרים החריגים והמעניינים שקיימים בעולם האמיתי - ויתחילו לייצר תשובות דומות וצפויות.
יכול להיות שזו גם אחת הסיבות שאנחנו רואים חברות AI שמשקיעות מאמצים גדולים בהשגת מקורות מידע אנושיים (כמו מטא והמפתחים שלה).
בקיצור, הידע האנושי המקורי עדיין שומר על החשיבות שלו. אחרת אנחנו נקבל צילום של צילום של צילום...
עדכון חשוב: כדאי לשים לב ולעשות הפרדה בין AI Slop שזה תוכן AI זול, חזרתי או בעל ערך נמוך שמציף פידים ואתרים לבין Model Collapse שזה תופעת אימון של מודלים שבה שימוש רקורסיבי בנתונים שנוצרו על ידי מודלים.
ערוץ הטלגרם הטכנולוגי של תעשיית הייטק בישראל: רוצים להישאר עם היד על הדופק בתחום הבינה המלאכותית, ההייטק והתעסוקה? הצטרפו לערוץ הטלגרם של מורד שטרן שכבר מונה מעל ל-16,500 מנויים!
ערוץ הטלגרם הטכנולוגי שלי זמין לכם גם בתוך תוסף הכרום החדש שבניתי - פיד עדכונים חיים מטלגרם
תגובות