Richard S. Sutton

Plantilla:Infotaula personaRichard S. Sutton
Imatge
(2021) Modifica el valor a Wikidata
Biografia
Naixement1957 ↔ 1958 Modifica el valor a Wikidata
Ohio (EUA) Modifica el valor a Wikidata
ResidènciaCanadà Modifica el valor a Wikidata
FormacióUniversitat de Massachusetts Amherst
Universitat Stanford Modifica el valor a Wikidata
Director de tesiAndrew Barto Modifica el valor a Wikidata
Activitat
Camp de treballAprenentatge de reforç, ciència computacional, intel·ligència artificial, aprenentatge automàtic i ciències de la computació Modifica el valor a Wikidata
Ocupacióinformàtic, investigador d'intel·ligència artificial, enginyer, professor universitari Modifica el valor a Wikidata
OcupadorUniversitat d'Alberta Modifica el valor a Wikidata
Membre de
Obra
Estudiant doctoralDoina Precup i David Silver (en) Tradueix Modifica el valor a Wikidata
Premis
Lloc webrichsutton.com Modifica el valor a Wikidata

Richard Stuart Sutton[1] FRS (nascut el 1957 o el 1958) és un informàtic canadenc d'origen estatunidenc. És professor d'informàtica a la Universitat d'Alberta, fellow i assessor científic principal de l'Alberta Machine Intelligence Institute, i investigador a Keen Technologies.[2] Sutton és considerat un dels fundadors de l'aprenentatge per reforç computacional modern.[3] Va contribuir als mètodes d'aprenentatge per diferències temporals i de gradient normatiu.[4] Va rebre el Premi Turing de 2024 conjuntament amb Andrew Barto.[5]

Vida i educació

Richard Sutton va néixer l'any 1957 o el 1958[6][7] a Ohio, i va créixer a Oak Brook, Illinois, als afores de Chicago, als Estats Units.[8] L'any 1978 es va llicenciar en psicologia a la Universitat Stanford i el 1984 va doctorar-se en informàtica a la Universitat de Massachusetts a Amherst, amb una tesi dirigida per Andrew Barto. La seva tesi doctoral, Temporal Credit Assignment in Reinforcement Learning, va introduir les arquitectures crítiques per actor i l'assignació de crèdit temporal.[9][4]

Va rebre influències de l'obra de Harry Klopf, que durant la dècada de 1970 proposava que l'aprenentatge supervisat és insuficient per a la intel·ligència artificial i per explicar el comportament intel·ligent, i que és necessari l'aprenentatge per assaig i error, motivat pels «aspectes hedonistes del comportament». Això va focalitzar el seu interès en l'aprenentatge per reforç.[10]

Sutton entrevistat per Steve Jurvetson sobre AlphaGo l'any 2017

Carrera professional

El 1984, Sutton va ser investigador postdoctoral a la Universitat de Massachusetts.[11] Entre 1985 i 1994, va treballar al Laboratori d'Informàtica i Sistemes Intel·ligents de l'empresa de telefonia GTE a Waltham (Massachusetts).[4] Després, va passar tres anys a la Universitat de Massachusetts a Amherst com a investigador sènior.[4] Entre 1998 i 2002, Sutton va treballar en el Departament d'In tel·ligència Artificial del Laboratori Shannon de l'AT&T a Florham Park, (Nova Jersey).[4]

Des de 2003 és catedràtic d'informàtica a la Universitat d'Alberta, on va dirigir el Laboratori d'Aprenentatge per Reforç i Intel·ligència Artificial fins al 2018.[12][4] Tot i mantenint la càtedra, Sutton va incorporar-se a Deepmind el juny de 2017 com a investigador distingit i cofundador de l'oficina d'Edmonton.[9][13][14]

Aprenentatge per reforç

Sutton va ajuntar-se amb Andrew Barto a principis de la dècada de 1980 a UMass, intentant entendre el comportament de les neurones al cervell humà com a base de la intel·ligència humana, un concepte que havia avançat l'informàtic A. Harry Klopf. Sutton i Barto van utilitzar eines matemàtiques per avançar el concepte i utilitzar-lo com a base per la intel·ligència artificial. Aquest concepte va acabar sent conegut com a aprenentatge per reforç i es va convertir en una peça clau de les tècniques d'intel·ligència artificial.[15]

Barto i Sutton van utilitzar processos de decisió de Màrkov (MDP) com a fonament matemàtic per explicar com els agents (entitats algorísmiques) prenien decisions quan es trobaven en un entorn estocàstic o aleatori, rebent recompenses al final de cada acció. La teoria de MDP tradicional assumia que els agents coneixien tota la informació sobre els MDPs en el seu intent de maximització de les recompenses acumulades. Les tècniques d'aprenentatge per reforç de Barto i Sutton van permetre que tant l'entorn com les recompenses fossin desconeguts, i així van permetre que aquesta categoria d'algorismes es pogués aplicar a una gamma ampla de problemes.[16]

Sutton va tornar al Canadà en la dècada de 2000 i va continuar treballant sobre el tema, que continuava desenvolupant-se en cercles acadèmics, fins que, en una de les seves primeres aplicacions al món real, es va aconseguir que el programa de Google AlphaGo, construït amb aquest concepte, guanyés el campió mundial de go.[15] Barto i Sutton són reconeguts i acceptats com a pioners de l'aprenentatge per reforç modern, i la tècnica com a fonament de l'esclat modern de la intel·ligència artificial.[17]

En un article de 2019, Sutton va criticar la comunitat de recerca en intel·ligència artificial per no "haver après la lliçó amarga que construir de la manera que ens pensem que pensem no funciona a llarg termini", argumentant que "70 anys de recerca en intel·ligència artificial [havien demostrat] que els mètodes generals que aprofiten la potència de càlcul són al capdavall els més efectius, i de bon tros", superant els intents de construir sobre el coneixement humà en camps específics com la visió per ordinador, el reconeixement de la parla, els escacs o el go.[18][19]

El 2023, Sutton i John Carmack van anunciar una associació per al desenvolupament de la intel·ligència artificial forta (AGI, per les sigles en anglès).[2]

Premis i honors

Sutton és fellow de l'Association for the Advancement of Artificial Intelligence (AAAI) des de 2001;[20] la seva nominació deia: "Per contribucions significatives a molts temes de l'aprenentatge automàtic, que inclouen l'aprenentatge per reforç, les tècniques de diferències temporals, i les xarxes neuronals."[20] El 2003, va rebre el Premi del President de la International Neural Network Society[21] i el 2013, el premi a la Contribució Extraordinària en Recerca de la Universitat de Massachusetts Amherst.[22] Va rebre el Premi Turing de l'Association for Computing Machinery juntament amb Andrew Barto; la justificació del premi deia: "Per desenvolupar els fonaments conceptuals i algorísmics de l'aprenentatge per reforç."[5][23]

El 2016, Sutton fou elegit Fellow de la Royal Society del Canadà.[24] El 2021, fou elegit Fellow de la Royal Society de Londres.[25]

Selecció de publicacions

Referències

  1. ↑ «Temporal credit assignment in reinforcement learning - ProQuest» (en anglès). www.proquest.com.
  2. 1 2 «John Carmack and Rich Sutton partner to accelerate development of Artificial General Intelligence» (en anglès). markets.businessinsider.com. [Consulta: 2 octubre 2023].
  3. ↑ «Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning», 11-01-2018. Arxivat de l'original el January 11, 2018. [Consulta: 17 desembre 2018].
  4. 1 2 3 4 5 6 Piatetsky, Gregory. «Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning» (en anglès americà). KDnuggets, 05-12-2017. [Consulta: 10 febrer 2024].
  5. 1 2 Metz, Cade «Turing Award Goes to 2 Pioneers of Artificial Intelligence» (en anglès). The New York Times, 05-03-2025.
  6. ↑ «Andrew Barto and Richard Sutton, pioneers in field of reinforcement learning, win AM Turing Award». The Telegraph, 05-03-2025. «Research that Barto, 76, and Sutton, 67, began in the late 1970s paved the way for some of the past decade's AI breakthroughs.»
  7. ↑ «Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence». Amii, 05-03-2025. [Consulta: 10 març 2025]. «So I'm 67 years old, but I want to still try to do some amazing things.»
  8. ↑ Heidrich-Meisner, Verena «Interview with Richard S. Sutton». Künstliche intelligenz, Heft, 2009.
  9. 1 2 «Brief Biography for Richard Sutton». incompleteideas.net. [Consulta: 17 desembre 2018].
  10. ↑ Sutton, Richard S.; Barto, Andrew. Reinforcement learning: an introduction. Second. Cambridge, Massachusetts: The MIT Press, 2020, p. 22–23. ISBN 978-0-262-03924-6.
  11. ↑ «Dr. Richard Sutton» (en anglès). awards.acm.org. [Consulta: 7 març 2025].
  12. ↑ Brown, Michael. «AI innovator Richard Sutton named to Royal Society» (en anglès). Alberta Machine Intelligence Institute, 10-05-2021. [Consulta: 10 febrer 2024].
  13. ↑ «DeepMind expands to Canada with new research office in Edmonton, Alberta». DeepMind. [Consulta: 17 desembre 2018].
  14. ↑ «Edmonton AI guru Rich Sutton has lost his DeepMind but not his ambition». National Post, 19-03-2023. [Consulta: 2 juliol 2023].
  15. 1 2 Metz, Cade «Turing Award Goes to 2 Pioneers of Artificial Intelligence» (en anglès). The New York Times, 05-03-2025.
  16. ↑ «A.M. Turing Award». amturing.acm.org. [Consulta: 8 març 2025].
  17. ↑ «AI pioneers Andrew Barto and Richard Sutton win 2025 Turing Award for groundbreaking contributions to reinforcement learning | NSF – National Science Foundation» (en anglès). www.nsf.gov, 05-03-2025. [Consulta: 8 març 2025].
  18. ↑ Sutton, Rich. «The Bitter Lesson». www.incompleteideas.net, 13-03-2019. [Consulta: 22 setembre 2022].
  19. ↑ Tunstall, Lewis; Werra, Leandro von; Wolf, Thomas. Natural Language Processing with Transformers (en anglès). "O'Reilly Media, Inc.", January 26, 2022. ISBN 978-1-0981-0319-4.
  20. 1 2 «Elected AAAI Fellows». www.aaai.org. [Consulta: 17 desembre 2018].
  21. ↑ «INNS Award Recipients». www.inns.org. [Consulta: 17 desembre 2018].
  22. ↑ «Outstanding Achievement and Advocacy Award Recipients» (en anglès). College of Information and Computer Sciences, University of Massachusetts Amherst, 05-10-2010. [Consulta: 17 desembre 2018].
  23. ↑ «Turing Awardees» (en anglès). National Science Foundation, 05-03-2025. [Consulta: 8 març 2025].
  24. ↑ Brown, Michael. «U of A Scholars Join Ranks of Royal Society». The Quad, 19-09-2016. [Consulta: 24 agost 2023].
  25. ↑ «Royal Society elects outstanding new Fellows and Foreign Members». royalsociety.org. [Consulta: 8 juny 2021].

Enllaços externs

This article is issued from Viquipèdia. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.