ככה לא בונים ניסוי

מדי פעם אני נתקל בתיאור של "ניסוי מדעי" שמעורר בי צחוק. זו אחת ההנאות שיש לי בחיים. בדרך כלל מדובר בכשל מחשבתי שמשעשע אותי. אביא פה שלש דוגמאות מן הקל אל הכבד.

פרק ראשון

אימון בשטח, גדוד סדיר, מִדְבָּר, צהרי היום, חם מאד. ימין ושמאל רק חול וחול. מנסים לנוח ואין צל. מדי פעם ניגשים אל עוקב המים כדי לשתות. עוד מעט נצטרך לקום ולהמשיך. מתקרבת אלינו משאית ועוצרת קרוב. המפקדים קוראים לנו להשתתף בניסוי. מתוך המשאית מחלקים לנו אבטיחים קטנים וצוננים. בחוץ ירוק ובפנים צהוב. מוזר, לא ידענו שאבטיח יכול להיות צהוב. אבל זה קר ורטוב ומתוק. כולם אוכלים בהנאה. "אפשר עוד?" בשמחה…

סוף דבר, מכנסים אותנו לענות על שאלון. היה טעים? רוצים שנבוא שוב? נראה אם תוכלו לנחש את התשובה. לא שאלו אם אבטיח רגיל יותר טעים (אדום הרבה יותר טעים). מסתבר שמישהו חשב לשווק זן חדש של אבטיחים ורצה לנסות, לראות מה דעת הקהל. תארו את מידת הכשל בניסוי. נמקו.

yellow watermellon

פרק שני

אני יושב בבית קפה קטן, שותה קפה וקורא בעיתון המקומי. כתבה קטנה, ואני כמעט נחנק מהקפה. פסיכולוגים מאוניברסיטה באילינוי השכנה (אני חושב שבשמפיין) עשו מחקר. שאלו כמה אלפי אנשים כמה בני זוג מיניים היו להם במהלך חייהם. כל קשר מיני, אפילו חד פעמי נספר לצורך העניין. כמובן שידווחו על זה בעיתון – גם זה נעשה באיזור וגם נושא סקסי. הציבור חייב לדעת. לפני התוצאות  יש להניח את כוס הקפה על השולחן כדי למנוע חנק או סתם אסון אחר. מסתבר שבממוצע לנשים היו שני בני זוג במהלך חייהם. בממוצע, לגברים היו שש בנות זוג. תארו את מידת הכשל בהבנת הניסוי. נמקו.

טוב, אני אנמק. קודם כל, פסיכולוגיה זה לא מדע. בנוסף, לא מלמדים פסיכולוגים מתימטיקה (וגם לא עיתונאים). ויש עוד הסברים. אבל לגופו של עניין, ניקח את כל ה"קשרים" בעולם (כל קומבינציה של גבר ואישה ששכבו זו עם זה נספרת פעם אחת). נחלק מספר זה במספר הגברים ונקבל את המספר הממוצע של בנות זוג לגבר. נחלק את אותו מספר קשרים במספר הנשים ונקבל את ממוצע בני הזוג לכל אשה. כיוון שמספר הנשים והגברים כמעט זהה (יש הבדל קטן),  גם הממוצעים חייבים להיות דומים. מסקנה סבירה: הנשים שיקרו כלפי מטה והגברים כלפי מעלה ובטח המספר הנכון הוא בסביבות ארבע (לפחות באיזור ההוא של העולם בשנות התשעים בקרב אלה שמוכנים להשתתף בשאלון וכו').

פרק שלישי

נוסע על גשר אל העבודה בקליפורניה. מקשיב לרדיו. בתכנית מתארים ניסוי חדש בחיסון לאיידס. זה חשוב מאד והם מתלהבים. מגיש התכנית מתאר את תוצאות הניסוי. משרד ההגנה האמריקאי השקיע 160 מיליון דולר (למה? מה זה עניינם?) בניסוי בתאילנד (למה שם?). השתתפו בניסוי יותר משש עשרה אלף איש. לחצי נתנו חיסון שהוא תערובת של שלושה חיסונים שנוסו בחוסר הצלחה בעבר. לחצי השני נתנו זריקה ללא השפעה. עקבו אחריהם במשך חמש שנים לראות מה קורה. 125 חלו באיידס. מבין אלה שקיבלו את החיסון יש 50 ואלה שלא קיבלו חיסון יש 75. תכף מצטרף הסטטיסטיקאי הראשי של הניסוי ויסביר את המשמעות יוצאת הדופן של הניסוי.

אני עושה חישוב מהיר (תוך כדי נהיגה, אז ללא נייר או עיפרון או מחשב כיס). המובהקות של הניסוי היא בערך 98% (כך יוצא לי). איך עושים זאת? בסטטיסטיקה מניחים את ההיפך ממה שהניסוי מנסה להראות ובודקים מה ההסתברות שתצא תוצאה טובה פחות ממה שבניסוי. (במקרה שלנו בערך 98%, כלומר אם החיסון לא עובד אז אחד מחמישים, או 2%, מניסויים כאלה יתנו תוצאה טובה כזאת). ביותר פירוט: מניחים שהניסוי לא עובד, ולכן 125 החולים אמורים להתפלג שווה בין שתי הקבוצות (עם ובלי חיסון) עם ממוצע של 62.5 חולים לקבוצה. ההתפלגות בינומיאלית, אז שתי סטיות תקן זה שורש של 125 שזה קצת יותר משורש של 121, שזה קצת יותר מ11. נקרב לפי התפלגות נורמלית: 50 חולים עם חיסון זה 12.5 פחות מהממוצע (62.5) שזה קצת יותר משתי סטיות תקן מתחת לממוצע. ההסתברות מעל שתי סטיות תקן בהתפלגות נורמלית זה בערך 97.5% אבל יש טיפה יותר משתי סטיות תקן אז ניתן לזה 98%. בניסוח לא מדוייק (אבל מקובל בעיתונות וגם בקרב מדענים) אומרים שיש לנו 98% ביטחון שהחיסון עובד.

את החישוב הנ"ל עשיתי בערך בעשר שניות בזמן אמת, שזה הזמן בו הציגו את הסטטיסטיקאי הראשי של הניסוי. (כמה סטטיסטיקאים צריך כדי לנתח ארבעה מספרים?) הוא מסביר שיש מובהקות גבוהה לניסוי (98.5%) וזה הישג כביר. (הוא חישב את זה קצת יותר מדוייק ממני, אבל סביר שהשתמש במחשב, או לפחות נייר ועיפרון). אמנם החיסון עובד רק בכשליש מהמיקרים ויש עוד תופעה מוזרה שאנשים שקיבלו חיסון פיתחו את המחלה באותה עוצמה כמו מי שלא קיבל חיסון (בדרך כלל חיסון שלא יעיל ממתן את עוצמת המחלה). אבל לא נורא, זה שלב ראשון ובכל זאת זה הצליח. ועכשיו רק כדי להדגיש כמה הניסוי חשוב הוא מסביר שבעשרים השנים האחרונות נעשו עשרות ניסויים בחיסון איידס וזאת הפעם הראשונה שיש תוצאות כאלה. מרוב הפתעה כמעט עשיתי תאונה. מסוכן להקשיב לרדיו בימינו למרות שזה משעשע. הסטטיסטיקאי הראשי של ניסוי שעלה 160 מיליון דולר הסביר במשפט אחד למה הניסוי הוא כשלון חרוץ ואפילו לא ידע שזה מה שהוא עשה.

הכשל המחשבתי די פשוט. הסיבה שנראה שהניסוי הצליח היא שאם החיסון לא היה עובד הסיכוי לראות תוצאה כזאת הוא אחד לשישים וחמש בערך (1.5%). זה אומר שאם נערוך שישים וחמישה ניסויים כאלה בחיסון שאינו עובד כלל, נראה בממוצע ניסוי מוצלח אחד כזה. והנה הוא מתאר עשרות ניסויים – כלומר סיכוי סביר שאחד ייראה מוצלח במקרה מבלי שהחיסון עובד. וסוף כל סוף אחד כזה עלה בגורל. הלכו 160 מיליון דולר מבלי שהבינו לאן הלכו.

5 תגובות בנושא “ככה לא בונים ניסוי

  1. משעשע למדי, אבל גם קצת עצוב.
    גם אני נתקל בניסויים כאלה לא פעם – האחרון הוא זה ש"הוכיח" שיש קשן בין קרינה סלולארית לסרטן.

    תתחדש על הבלוג ובהצלחה!

    אהבתי

    1. ברוך הבא.
      קראתי את הסיפורים שלך במשך שנים, אולי אחזיר קצת…
      והעולם מצחיק, אז צוחקים, אפילו שזה קצת עצוב. מה אפשר לעשות כשקוראים מאמר שמוכיח שההתחממות הגלובלית תגרום ליותר פגיעות של אסטרואידים?

      אהבתי

  2. לקחתי בסמסטר האחרון קורס בנושא סטטיסטיקה. המרצה שלנו הסביר שאחת הבעיות היא שאנשים לא מבינים סטטיסטיקה. הוא הציע לנו (מה זה הציע, ממש התחנן!) שאם יש לנו חישובים סטטיסטיים לערוך כחלק מהתואר – שנבוא אליו ונתייעץ איתו ונראה שזה בסדר. הוא לא מבקש הרבה, רק קרדיט על העזרה… כואב לו לראות ניתוחים שגויים או פשוט ברמה נמוכה. 🙂

    אהבתי

    1. יש לך את הרקע והכישורים ללמוד סטטיסטיקה כהלכה ולא להזדקק לעזרה. המרצה שלך צודק בקצת וטועה בהרבה. השלב בו צריך ייעוץ הוא בתכנון הניסוי, לפני שאוספים נתונים. כשמגיעים לחלק החישובי בדרך כלל זה מאוחר מדי.

      אהבתי

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת /  לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת /  לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת /  לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת /  לשנות )

w

מתחבר ל-%s