The Bitter Lesson

The Bitter Lesson (svenska: Den Bittra Läxan) är en princip och observation inom artificiell intelligens (AI) som innebär att metoder som skalar med tillgänglig beräkningskraft på sikt alltid överträffar metoder som bygger på inprogrammerad, mänsklig domänkunskap. Principen formulerades i en uppmärksammad essä från 2019 av datavetaren Richard Sutton.^[1]

Orsaken är att skalbara, generella metoder (som sökalgoritmer och statistisk inlärning på stora datamängder) bättre kan dra nytta av den exponentiella ökningen av beräkningskraft.

Suttons essä

I sin essä ger Sutton flera historiska exempel på denna utveckling:

Spel: Datorn Deep Blue, som blev först med att besegra världsmästaren i schack, byggde på massiv maskinvaruaccelererad beräkningskraft för att söka igenom drag, snarare än inbyggd mänsklig schackexpertis. Samma utveckling skedde i spelet Go, där algoritmen AlphaGo och efterföljaren AlphaGo Zero överträffade människor genom förstärkningsinlärning (självinlärning) helt utan mänsklig kunskap om spelet.
Taligenkänning: Modeller som tränats på generella principer med stora mängder data har konsekvent utklassat de handkodade och specialiserade system som dominerade under 1970-talet.
Datorseende: Äldre algoritmer som byggde på antaganden om hur människans visuella perception fungerar överträffades av faltningsnätverk (CNN), som i stället gör mycket få antaganden och lär sig mönster direkt från data.

Slutsatsen är att AI-forskare bör investera sin tid i att hitta enkla, skalbara lösningar framför att försöka detaljstyra algoritmer med komplexa mänskliga insikter. Läxan kallas "bitter" eftersom den går emot många forskares antropocentriska förväntan om att mänsklig förståelse är nyckeln till att bygga maskinintelligens.

Genomslag

Sedan publiceringen 2019 har principen blivit allmänt accepterad inom AI-forskningen. Den används ofta som förklaring till framgångarna med stora språkmodeller och generativ AI.^[2]

Flera uppföljande studier har bekräftat Suttons tes. Till exempel har forskare på Google DeepMind konstaterat att generiska modeller uppbackade av en generös beräkningsbudget och enorma datamängder oundvikligen går om mer komplicerade och specialiserade algoritmer.^[3] Genomgångar av decennier av forskning inom datorseende och förstärkningsinlärning har dragit liknande slutsatser.^[4]

Referenser

↑ Sutton, Rich (13 mars 2019). ”The Bitter Lesson”. www.incompleteideas.net. http://www.incompleteideas.net/IncIdeas/BitterLesson.html. Läst 7 mars 2026.
↑ Srivastava, A. et al. (2022). ”Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models”. Transactions on Machine Learning Research. https://arxiv.org/abs/2206.04615.
↑ Reed, S. et al. (2022). ”A Generalist Agent”. Transactions on Machine Learning Research. https://openreview.net/forum?id=1ikK0kHjvj.
↑ Yousefi, M. & Collins, J. (2024). ”Learning the Bitter Lesson: Empirical Evidence from 20 Years of CVPR Proceedings”. Association for Computational Linguistics. https://aclanthology.org/2024.nlp4science-1.15/.

Externa länkar

"The Bitter Lesson" – Originalessän av Richard Sutton (på engelska).

[sutton-1] Sutton, Rich (13 mars 2019). ”The Bitter Lesson”. www.incompleteideas.net. http://www.incompleteideas.net/IncIdeas/BitterLesson.html. Läst 7 mars 2026.

[beyond-imitation-game-2] Srivastava, A. et al. (2022). ”Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models”. Transactions on Machine Learning Research. https://arxiv.org/abs/2206.04615.

[generalist-agent-3] Reed, S. et al. (2022). ”A Generalist Agent”. Transactions on Machine Learning Research. https://openreview.net/forum?id=1ikK0kHjvj.

[learning-bitter-lesson-4] Yousefi, M. & Collins, J. (2024). ”Learning the Bitter Lesson: Empirical Evidence from 20 Years of CVPR Proceedings”. Association for Computational Linguistics. https://aclanthology.org/2024.nlp4science-1.15/.

[1]

[2]

[3]

[4]