Curly: หุ่นยนต์ AI ที่แข่ง Curling ชนะทีมเหรียญเงินโอลิมปิกเกาหลีใต้
Curling ซึ่งคือกีฬาการโยนลูกหินไปตามทางนํ้าแข็ง โดยเป้าหมายของกีฬานี้คือนักกีฬาต้องเล็งให้ลูกหินไปอยู่ภายในโซนที่กำหนดได้แม่นยําที่สุดเท่าที่ทําได้ โดยจะมีคนโยน และ sweeper ซึ่งคือคนเช็ดทางนํ้าแข็งที่อยู่หน้าลูกหินเพื่อเป็นการ เพิ่มและลดความเร็วของลูกหินได้
ความยากของกีฬา Curling คือ พื้นนํ้าแข็งที่ต้องปล่อยลูกหินนั้น แต่ละพื้นจะไม่เหมือนกัน คือบางพื้นก็ลื่นกว่า บางพื้นก็ฝืดกว่า ซึ่งด้วย factor นี้เวลาที่แข่งกีฬา Curling จริงๆ จึงต้องมี Sweeper คอยช่วยถูพื้นเพื่อปรับความเร็วลูก
นักวิจัยชาวเกาหลีใต้ร่วมกับนักวิจัยชาวเยอรมันสร้างหุ่นยนต์ที่ไว้แข่ง Curling มีนามว่า Curly โดย Curly ถูกสอนให้โยนลูกหินให้เข้าใกล้จุดที่ต้องการที่สุดเท่าที่ทําได้
Curly มีกล้องที่คอยสังเกตว่าสถานการณ์ในเกมส์เป็นอย่างไร มีลูกหินอยู่ตรงไหนบ้าง จึงค่อยทําการเล็งและปล่อยลูกหินออกไปด้วยแรงที่มันคํานวณโดยสมองของหุ่นยนต์จะต้องสามารถปรับแรง และวิถีความโค้งได้ตามภาวะทางธรรมชาติ และความไม่แน่นอนที่อาจเกิดขึ้น
ระบบ AI ที่เป็นสมองของหุ่นยนต์ Curly นั้นมีพื้นฐานจาก Algorithm ที่เรียกว่า Deep Reinforcement Learning (DRL) ซึ่งคือชนิดของ Algorithm ทาง Machine Learning ที่เลียนแบบการเรียนรู้ของสิ่งมีชีวิต เช่น ถ้าเด็กโดนดุ เด็กจะรู้ตัวว่าเค้าไม่ควรทําการกระทําแบบนั้น
DRL มีชื่อก้องโลกจากการที่ทีม Google DeepMind ใช้เทคนิคนี้สร้าง AI ชื่อว่า AlphaGo เล่น Go และชนะ Lee Sedol ได้นั่นเอง
การเลียนแบบวิธีการเรียนรู้แบบนี้ โมเดล AI (มักเรียกว่า Agent) จะถูกปล่อยให้ทําการปฏิสัมพันธ์ (Action) กับสิ่งแวดล้อม (Environment) และทุกครั้งที่การกระทําหรือลําดับของการกระทําจบไประบบจะป้อน “รางวัล” (Reward) ให้กับตัวโมเดล และโมเดลจะเรียนรู้เพื่อที่จะพยายามหาทางทําชุดการกระทํายังไงก็ได้ให้ Reward ที่ได้รับสูงที่สุดเท่าที่ทําได้
เมื่อสอน AI ด้วยวิธีนี้ นักพัฒนาจะปล่อย AI ทิ้งไว้ใน Environment เป็นเวลานานมากๆ ให้มันทําการปฏิสัมพันธ์แบบต่างๆ หลายๆครั้งๆ และเรียนรู้ว่า ผลจากการกระทําแบบต่างๆของมัน ได้รับรางวัลอย่างไรบ้าง และทําให้ตัวโมเดลของเราฉลาดพอที่จะรู้ว่าหากมันต้องการได้ Reward สูงสุด ทาง AI ควรต้องทําตัวอย่างไร เช่นตอนที่ทางทีม google พัฒนา AI เล่น Go ก็สร้างเกมส์โกะขึ้นมาในคอม และให้ทั้งสองตัวเล่น Go แข่งกันเองเป็นแสนๆครั้ง จนมันเก่งมากๆ แล้วค่อยนํามาสู้กับคน
ในบางครั้งการสอน AI ด้วย DRL มีข้อจํากัดในชีวิตจริง เช่น หากเราจะสอนให้หุ่นยนต์เล่น Curling ได้ เราต้องให้มันเล่น ไปเรื่อยๆ แข่งกับตัวเองเป็นแสนๆครั้ง ซึ่งคงใช้ระยะเวลาสอนจนกว่ามันจะเก่งเป็น 100 ปีแน่ ซึ่งนี่คือปัญหา
ดังนั้นในปัจจุบันนักพัฒนาจึงนิยม train โมเดลในสภาพเสมือนจริงผ่าน Simulation ในคอมพิวเตอร์ แล้วค่อยนํา AI ที่ได้รับการฝึกแล้ว มาลองใช้ในโลกจริง ซึ่งหากเป็นเกมส์อย่าง Go ที่ไม่มี factor อื่นรบกวนก็ทําได้ไม่ยาก แต่หากเป็นกีฬาแล้วละก็ โลก Simulation กับโลกจริงต่างกันอย่างสิ้นเชิง หรือที่นักวิจัยเรียกว่า sim-to-real gap
แต่โชคดีที่กับกีฬาอย่าง Curling นั้นแตกต่างออกไป กีฬา Curling เป็นกีฬาที่อยู่ใน fixed environment พอสมควร คือมีตัวแปรรบกวนน้อย และเป็นที่ทดสอบที่ดีสําหรับ AI ที่เรียนรู้ในโลก Simulation ว่าผลจะเป็นอย่างไรได้ โดยทางทีมวิจัยทําการสร้าง simulation ขึ้นมาเสมือนจริงด้วยหลักฟิสิกส์และสอน Curly ให้สามารถกะแรงการปล่อยลูกหินได้จากในคอมพิวเตอร์
หลังจากสอน Curly ในโลกของ Simulation แล้ว ทางทีมก็ปล่อยให้ Curly ไปลงแข่งขันกับ นักกีฬาเหรียญเงินโอลิมปิคทีมชาติเกาหลีใต้ ภายใต้การแข่งกฏพิเศษซึ่งจะไม่มีคนเป็น sweeper หรือคนที่คอยถูพื้นเพื่อเพิ่มและลดความเร็วของลูกหิน
Curly จะได้ปล่อยหินลงบนสนามจริงก่อนเพื่อเป็นการ test สภาพนํ้าแข็งและให้โมเดลมันทําการปรับจูนวิธีการปล่อยลูกด้วยตัวมันเองเพื่อให้เข้ากับสภาพพื้นนํ้าแข็งที่ใช้แข่งจริงซึ่งจะแตกต่างกันออกไปทุกครั้ง
ผลปรากฎว่า Curly ชนะ 3 ใน 4 เกมส์ ที่แข่ง โดยระหว่างการแข่งจะเห็นว่านอกจากจะกะแรงหรือ adapt แรงและวิธีการปาให้ขึ้นอยู่กับสถานการณ์ได้อย่างแม่นยําแล้ว มันยังใช้เทคนิคอันแพรวพราวหลายอย่างที่ทีมชาติเกาหลีต้องอึ้ง เช่นการกะแรงให้ปล่อยชนลูกหินของฝั่งตรงข้ามให้กระเด็นออกในขณะที่ลูกหินที่มันปล่อยไปชนจะหยุดนิ่งทันที หรือปาให้ไซด์โค้งเอี้ยวหนีลูกหินที่เป็นอุปสรรค
ซึ่งเป็นเครื่องพิสูจน์ชั้นดีถึง 2 ข้อคือ
Algorithm ที่ทางทีมออกแบบขึ้นมานั้นมีความสามารถในการปรับตัวได้อย่างรวดเร็วจากผลลัพธ์ที่ได้ก่อนหน้านี้
ทางทีมวิจัยสามารถลดช่องว่างของ sim-to-real gap ได้
ref:
https://robotics.sciencemag.org/content/5/46/eabb9764
————————
กดไลค์กดแชร์ Page ของเราเพื่อติดตามเรื่องราวดีๆ และความเคลื่อนไหวของพวกเรา
องค์กรใดสนใจใช้ AI เข้ามาช่วยเพิ่มประสิทธิภาพงานสามารถติดต่อมาพูดคุยกันได้ที่ info@oztrobotics.com
Website: www.oztrobotics.com