עליית המכונות 12

התחזיות של ג'נסן, עוד ועוד סינים, קריפטו-פוליטיקה, רקטות זה הקפה החדש

Oct 16, 2024

שלום, ברוכים הבאים לגליון 12!
אם אתם קוראים את זה באפליקציה, כנראה שהעברית מבולגנת והכל כתוב בפונט משונה. עדיף לקרוא את גירסת הדפדפן המסודרת יותר כאן.

תוצאות הסקר הקטן משבוע שעבר:
וואו. יותר מ-400 איש ענו לסקר! או שאתם חמודים במיוחד, או שאני ממש טוב ב Call-to-action. בכל מקרה הנה תקציר התוצאות, שהיו מובהקות במיוחד:
- כמעט 3/4 מכם העידו שהם “קוראים כל מילה”. מלחיץ! עוד רבע “קוראים חלק מדלגים חלק”, ושני אחוז “מרפרפים בזריזות, נעצרים על התמונות והוידאו”.
- המדור האהוב הוא “זרקת רעיון תן לחשוב” בהובלה קלה. על המדור “עדכונים מחברי הקהילה” 75% מוכנים לוותר. ובאמת ביטלתי אותו דבר בשבוע שעבר. אני מאמין שעוד יחזור.
- איך האורך? 80% אומרים “בדיוק טוב כמו שעכשיו”. 16% רוצים יותר ארוך, השאר רוצים לקצר.
- 70% קוראים גם את הפוסטים בפייסבוק, 30% רק את הניוזלטר. 4 חשודים קוראים רק את הפייסבוק.
בנוסף קיבלתי מכם מאות מחמאות, חלק מושקעות ממש. תודה רבה! בקיצור,הרוב די מבסוטים.

וכרגיל, אם זה מעניין, אל תשכחו לספר לחברים. אנחנו כל הזמן רוצים לגדול: https://rotm.co.il

נשיקות
-מתי

בימים האלה ממש מסתיימת ההרשמה לתואר שני בבצלאל, במסלול עיצוב וטכנולוגיה. למסלול מגיעים אנשים מתחומים מאוד מגוונים, המורים מצויינים, מהטובים בתחומם, ויש שת"פים מעניינים עם סטארטאפים וחברות טכנולוגיה (וגם אחד עם אוניברסיטה בטוקיו שלצערי לא השכלתי להשתחל אליו). קבעו לכם שיחה עם ראש התוכנית, פרופ’ אורי ברטל, כדי לראות אם זה יכול להתאים לכם.
[בשיתוף עם בצלאל]

זרקת רעיון, תן לחשוב

עכשיו דממה, ג’נסן על הבמה.

התכוונתי לכתוב על נושא אחר, אבל ביום ראשון הופיע הראיון הזה עם ג’נסן, מייסד אנבידיה האגדי. מאחר והוא מדבר פה בבהירות רבה, וכבר הוכיח שוב ושוב שהוא יודע לחזות את העתיד, ובנוסף הוא לא Asshole כמו דמויות אחרות בתעשייה, החלטתי ששווה לסכם את התחזיות והתובנות שלו:

אמל”ק: אנבידיה תמשיך להיות המלכה, סתמו. אינטליגנציה היא הסחורה היקרה ביותר שהעולם פגש מעודו, ועכשיו אנחנו הולכים לייצר אותה בסקייל.

* בעשר השנים האחרונות המחיר של המחשוב ירד פי 100,000. לפי חוק מור היינו מצפים לפי 100, אבל הצלחנו הרבה יותר בזכות שיפורים מקצה לקצה: דברים שרצים במקביל, תקשורת מהירה בין המחשבים, ארכיטקטורות חדשות.

* במענה לשאלה אודות המתחרים של אנבידיה: האם מתחרה שמייצר צ’יפ מהיר יותר יוכל לקחת את השוק? ג’נסן מסביר בסבלנות שאנבידיה עוסקת בגלגל התנופה (Fly wheel) המלא של התהליך: דאטה-אימון-הסקה. לדוגמה, ג’ינרוט וידאו שכולם אוהבים עכשיו, שעבורו צריך ליצור צינור יעיל במיוחד שיודע להזרים כמויות עצומות של מידע (סרטים) לאימון של המערכת. אם הצלחת לבנות צ’יפ מהיר יותר, הצלחת לזרז רק חוליה אחת בשרשרת, וזה לא מספיק להאצה אמיתית.
הם תמיד דואגים שהגירסאות החדשות ימשיכו להיות תואמות. ככה הלקוחות קונים את המודל החדש ביותר עבור האימון, אבל לא צריך לזרוק את הישן לפח, כי הוא עדיין מעולה להסקה (inference).

* הדאטה סנטר הוא מחשב אחד בשבילי. ככה אני חושב על יחידת חישוב אחת: לא רק המעבדים והזכרון, אלא גם איך הכל מתחבר ומתקשר, איך מתזמרים את הכל. וכל שנה אנחנו מנסים לשפר את המחשב הזה: פי 2-3 יותר ביצועים, פי 2-3 יותר זול, פי 2-3 יותר יעיל אנרגטית. אני אומר ללקוחות לא לקנות הכל באותה השנה! ככה הם ימצעו את המחיר, והכל עדיין ימשיך לעבוד ביחד.

* אם יש משהו שאנבידיה ממש מצטיינת בו זה החיבור בין החומרה למטה (הצ’יפ) לתוכנה למעלה (ספריות פייתון). הם מתכננים את החיבור הזה עם ספריות שלהם כמו cuDNN, cuQuantom, optix, שהם בונים במיוחד לענפים יחודיים, ועובדות בהרמוניה יעילה עם החומרה שלהם, כדי להמשיך לסובב את גלגל התנופה הזה.

* על ההבדל בינם לבין אינטל: אינטל היו החברה הראשונה שידעה היטב גם לבנות את הצ’יפים וגם לתכנן אותם באופן חכם. אבל באנבידיה בנו GPU - שם הכל עובד במקביל. לכן הכמות של הטרנזיסטורים שיצליחו לדחוף על הצ’יפ היתה תמיד חשובה להם יותר מהמהירות שלהם (להבדיל מאינטל, שם הכל רץ בטור, והמהירות היא קריטית). וזה בנוסף גרם לאנבידיה להשתפר “לכיוון מעלה” (כלומר, לתוכנה) יותר מאשר “מטה” (כלומר, טרנזיסטורים משובחים יותר).

* ציטוט יפה: “אנחנו Market maker ולא Share taker”. במצגות שלנו אנחנו פחות מדברים על איזה נתח כבשנו מהשוק הקיים, אלא מה הבעיה החדשה שאנחנו הולכים לפתור עכשיו.
שואלים אותו אחר כך, כמה עוד אנבידיה יכולה לגדול? הרי הדג לא יכול להיות יותר גדול מהאגם. הוא עונה: זו נקודת מבט של share takers [לוזרים] שמסתכלים על הקיים. אנחנו מחפשים איך להגדיל את האגם. [אין. אין עליך ג’נסן].

* איך לנסות לחזות את העתיד? בחשיבה על היסודות. אנחנו ממציאים עכשיו מחדש את המחשוב. כל התוכנה שבפעם נבנתה באופן ידני: אקסל, פוטושופ, אוטוקאד, תיבנה עכשיו ע”י למידת מכונה. התוכנה תשתנה, היכולות שלה ישתנו, הדרך שנשתמש בתוכנה תשתנה. אלה כללי היסוד החדשים. ויש לנו טריליון דולר של דאטה סנטרים עם מחשבים (CPU’s) שלא מתאימים לעתיד הזה [ואפשר לזרוק אותם לפח]. כשמנכ”ל צריך להחליט באיזה ציוד להשקיע (Capex), הכל ילך לדברים החדשים.

* לא נתכנת מחשבים בשפות התכנות המוכרות, אלא בפרומפטים. זה כמו שאני כותב מיילים לצוות שלי ומבקש מהם כל מיני משימות, או מסביר מה חשוב יותר. אני מנסה להיות ברור ככל האפשר, ועדיין להשאיר דברים לא-מוגדרים, חלל יצירתי, כדי שהם יפתיעו אותי. זה בדיוק כמו פרומפט.
זה אומר שנוצרת שכבה שלמה חדשה של “מפעלי AI” עם האנשים הדיגיטליים האלה שעובדים שם ומבצעים את המשימות, ומפעילים אנשים דיגיטליים אחרים. וכל זה לא קיים עדיין בכלל.

* מדברים על מודל o1 של openAI, שלא עונה ישר, אלא קודם חושב על התשובה. ג’נסן אומר שעדיין רוב האנשים לא הפנימו שאנחנו במהפכה תעשייתית חדשה, תעשייה של ייצור אינטליגנציה.
לא הכל יהיה כמו שאנחנו רואים היום, באימון המודלים, אלא פי מליארד יותר עבודה אחר כך בשלב ה-inference. יהיו דברים שאבקש מהבינה שלי ולא אצפה שהיא תענה לי מיד כמו שזה עובד היום. שתחשוב על זה כמה דקות. אולי יום שלם. כמה שצריך.
זה טוב ללכת לבית הספר [כלומר, שהבינה המלאכותית תתאמן ותלמד], אבל יותר חשוב לקחת את מה שלמדת ולעשות איתו משהו שימושי לחברה.

* יש לנו 32,000 עובדים באנבידיה (4,000 בישראל, ואני חושב עליהם עכשיו) [אמרתי לכם שג’נסן הזה משהו]. יום אחד יהיו לנו 50,000 עובדים, ואיתם עוד 100 מליון עוזרים שהם בינה מלאכותית. כבר עכשיו אנבידיה נעזרת ב-AI למשימות רבות (תכנון צ’יפים, וריפיקציה, סייבר), אבל בעתיד לכל אחד תהיה רשימה משלו של סוכני AI שהוא נעזר בהם למשימות המיוחדות שלו (והם בעצמם מגייסים עוד סוכנים לטובת העבודות שהם פחות טובים בהם).
חלק מהעובדים שלנו יהיו ביולוגים, חלק דיגיטליים, וחלק מכניים. אני לא הולך לפטר את העובדים שיש לנו עכשיו. אותם אנשים הולכים לעשות עבודה של חברה גדולה בהרבה. כש-AI הופך חברות ליותר פרודקטיביות, הן מרויחות יותר כסף וגדלות יותר. יהיו לנו הרבה יותר רעיונות שנרצה לבחון ולבחור. זה מצב שבו שוכרים יותר עובדים, לא מפטרים.

* ה-AI הזה הולך להיות ספקטקולרי! אבל עוד הרבה לפני שיגיע ה-AGI, שאני לא יודע בכלל להגדיר מה זה, וזה לא חשוב, כי עוד הרבה לפני כן, AI הולך להיות מאוד מאוד שימושי. ביולוגיה, אקלים, הנדסת חומרים, פיזיקה, כימיה קוואנטית [מה זה בכלל?] ועוד ועוד. תשאל את כל מי שמתעסק בזה כמה AI שינה את העבודה היומיומית שלהם כבר עכשיו.

* הוא מחמיא לאילון מאסק ולצוות של x.ai שבנו דאטה סנטר עם 100,000 GPU’s. מחשב-העל הגדול בעולם. הוא מסביר באריכות רבה כמה פרטי-פרטים יש בבנייה של משהו כזה. בד”כ זה אמור לקחת ארבע שנים של תכנון ובנייה. הצוות של אילון עשה הכל ב-19 ימים. יש רק אדם אחד בעולם שיכול להניע דבר כזה, אומר ג’נסן.

* האם בעתיד נראה דאטה סנטרים גדולים אפילו יותר? של חצי מליון? מליון מעבדים? הוא לא חושב. לדעתו אנחנו נגלה לפני כן את הדרך לבזר את המחשוב, לעשות federated learning, ועוד דברים שלא יצריכו מרכזים גדולים (שצורכים המון חשמל!) מרוכזים במקום אחד.

* כמה זמן עוד תחזיק מעמד, ג’נסן?
העבודה היא כמו הילדים שלי. האם זה כיף כל הזמן? לא. האם אני אוהב את זה מאוד? כן. השאלה לא כמה זמן אחזיק מעמד, אלא כמה זמן עדיין אהיה רלבנטי ומועיל. וזה תלוי ביכולת שלי להמשיך וללמוד. והיכולת הזאת משתפרת כל הזמן, כי אני משתמש ב-AI באופן יומיומי בעצמי, וזה עוזר לי ללמוד ולהשתפר בקצב מהיר יותר. אז אני אופטימי מאוד שאמשיך להיות רלבנטי ואני בהחלט לא רוצה לפספס את מה שהולך להגיע בשנים הקרובות.

* הוא מדבר עוד אודות רגולציה, החשיבות של המודלים ששוחררו בקוד פתוח ועוד ועוד. אם יש לכם שעה ועשרים פנויות, זו השקעה טובה. הוא מסביר הכל יפה ובסבלנות:

עוד בחדשות

זה לא חכם כמו שחשבתם

צוות מאפל מוציא מאמר מבאס. הם נתנו לכל מנועי השפה שאנחנו מכירים לפתור בעיות כאלה של הפסיכומטרי. אבל מה, כל פעם שינו את השמות (פעם אחות של “ראובן” לובשת חולצה בצבע אחר מגיסתו, ואחכ אותה שאלה בדיוק אבל לבחור קוראים “דני”). או שנתנו בעיות מתמטיות ורק שינו קצת את המספרים.
אם ה-AI יודעת לפתור בעיות, אז השם של האיש בבעייה, או אם שואלים על 5+7 במקום 5+8 לא צריך לשנות כלום. אבל זהו, שהם גילו שזה כן משנה וה-AI פותר את אותן בעיות בהצלחה משתנה. זה מוכיח שהמנוע עדיין עוסק יותר בזיהוי של דפוסים מוכרים, ופחות בהגיון פשוט והבנה של מה שואלים אותו בעצם (כמו שרצינו לקוות שהוא עושה). בקיצור, אנחנו עדיין לא שם.

עוד פעם הסינים האלה

לכל ענקיות התקשורת בארה”ב יש מערכת שנועדה לאפשר שיתוף פעולה עם רשויות החוק במקרים של חקירות או צו בית משפט. המערכת מאפשר ציטוט לכל דבר שעובר באינטרנט. כעת הוול סטריט ג’ורנל חושף שלגורם סיני כלשהו היתה גישה לדלת האחורית הזאת במשך חודשים. דלת אחורית לדלת האחורית. חשבתם שהם מרגלים דרך הטיקטוק או דרך המכוניות החשמליות? לא צריך, היתה להם גישה חופשית לכל האינטרנט.
מן הסתם, אפשר לדמיין שגם בארצנו יש מערכת כזאת, ואפשר לשאול עד כמה הדלת האחורית שלנו מאובטחת ומנוטרת.

ואולי גם זה סינים

משום מה לא ראיתי את זה מדווח בשום מקום. במשך כמה ימים, קצת לאחר השקיעה, הופיע נחיל של כטב”מים מעל בסיס חיל האויר האמריקאי בלאנגלי, וירג’יניה (מקום בו ממוקמים מתקנים ביטחוניים רבים אחרים). אין לאף אחד מושג מי הטיס אותם, ויש חוק כלשהו שלא מאפשר להפיל אותם אם הם לא מהווים איום מיידי.
הנחיל היה מורכב משני מטוסים עם כנף קבועה, ועוד חבורה של תריסר, ואולי יותר, רחפנים שטסה אחריהם במבנה, נמוך יותר, כולם מוארים. אותות הרדיו שהפעילו אותם לא היו בתדר הרגיל של רחפנים מסחריים, מה שמחזק את החשד שהמפעיל לא היה איזה חובב רחפנים משועמם.
הנחיל המסתורי טס באותו מסלול קבוע ונעלם כשם שבא (בתמונה: מישהו שעבר וצילם).
אחרי תקרית בלון הריגול המטופש, ולאור אהבתם הרבה לרחפנים, הסינים הם החשוד המיידי. אבל לכו תדעו. היום לכל אחד יש רחפנים במחסן.

דברים לספר בארוחת צהרים בעבודה

אלוף העולם ביוטיוב

הערוץ חסר הערך של הבחור כאן שובר שוב ושוב את השיא של “ערוץ היוטיוב עם הכי הרבה סרטים”. יש לו קרוב לשלושה מליון סרטים כבר.
הפורמט שלו קבוע: קטע או שניים שלו מדבר ליד איזו חורשה (אותם הקטעים כל הזמן) ואז טקסט ארוך של שאלה טכנית והתשובה שלה, שהוא גונב מערוץ Stack Overflow, וסיומת. הוא משתמש באיזושהי תוכנה מהמטבח הביתי שלו שמכינה ודוחפת סרטים כאלה בקצב פסיכי, לפעמים כמה סרטים בדקה, לפעמים כמה ביום.
הרשיון של אתר SO מאפשר שימוש מסחרי בשאלות והתשובות, אז הוא לא עובר על שום חוק. איכשהו, הסרטים האלה עולים בחיפושים פה ושם, ויש מהם כל כך הרבה עד שהוא אוסף מליוני צפיות.

להנאתכם, תחתית החבית של התוכן האוטומטי, זה הוידאו הכי פופולרי מבין המליונים (עם 241K צפיות! איך?).

קריפטופוליטיקה

נראה שכמעט חצי מהתרומות של חברות מסחריות לקמפיינים פוליטיים השנה הגיעו מחברות קריפטו. דרך מספר עמותות (PACs), חברות הקריפטו השקיעו 120 מליון דולר כדי לסייע למועמדים שהביעו תמיכה בקריפטו, ולעיתים כדי ללכלך ולפגוע במועמדים שהם נגד קריפטו (כלומר, הכסף נוצל כדי פשוט כדי לטנף באופן כללי על פוליטיקאי מסויים, ולא כדי להעביר מסרים בעד קריפטו).
המחקר מצא שב-42 מהקמפיינים שבהם התרומות היו מעורבות, 36 הסתיימו בבחירה של המועמד המועדף. ערימת הכסף הזו גדולה מספיק עד שטראמפ הכריז שהוא רוצה שארה”ב תהפוך לבירת הקריפטו העולמית, ואפילו האנשים של קמלה מנסים לרמוז שיהיה מוכנים לעשות “reset” להתנגדות הרגילה של הדמוקרטים.

רקטות זה הקפה החדש

אמנם כבר יש סיפור אחד על אילון מאסק השבוע, אבל זה מוצלח מידי מכדי לוותר עליו. השחקנית טלולה ריילי (שיחקה בווסטוורלד ו-Inception והיתה נשואה כמה שנים למאסק) מספרת שפגשה את אילון כמה פעמים, ואז הוא שאל אם בא לה לבוא אליו לחדר במלון לראות סרטים על רקטות?
היא אמרה בטח, למה לא. ואז הם באמת הלכו לחדר וראו סרטים על רקטות. וידאו בטוויטר

זה לא הסרט שהם ראו שם, אבל אם פספסתם השבוע, זה סרט הרקטות מהטובים ביותר - הבוסטר SuperHeavy של SpaceX מסיים את תפקידו בחלל ויורד למטה, שם מגדל השיגור אוסף אותו לחיקו ומחבק אותו באויר).

נתראה בשבוע הבא!