ในยุคที่การใช้งาน AI ได้รับความนิยมอย่างต่อเนื่อง สำหรับผู้ใช้ทั่วไป งานที่มอบหมายให้ AI ทำมักเป็นงานประเภทตอบคำถาม เขียนอีเมล หรือสร้างภาพ แต่เมื่อมี AI Agent ให้ใช้งาน ผู้ใช้บางส่วนก็เริ่มสั่งให้ AI Agent ทำภารกิจต่าง ๆ ตามที่ตนเองต้องการ ซึ่งความท้าทายใหม่ก็ได้เริ่มต้นขึ้น เพราะ AI Agent อาจไม่ได้คิดและทำแบบมนุษย์เสมอไป
กรณีที่พบล่าสุดของ AI Agent ที่คิดและทำต่างจากมนุษย์ก็คือ มันเริ่มแซงคิวเพื่อให้ภารกิจสำเร็จ โดยสำนักข่าว ABC ของออสเตรเลียได้รายงานโดยอ้างถึงผู้ใช้รายหนึ่งชื่อแอนดรูว์ ที่สั่งให้ AI Agent ของเขาจองคลาสในยิมที่ต้องการให้หน่อย แต่บังเอิญว่า คลาสนั้นเต็มแล้ว และเขาอยู่ใน Waiting list ลำดับที่ 4 เขาเลยถาม AI Agent ว่า เป็นไปได้ไหมที่จะเลื่อนลำดับของเขาให้ไปอยู่ต้น ๆ ของลิสต์
เมื่อได้ฟังดังนั้น สิ่งที่ AI Agent เลือกทำก็คือ การเจาะระบบของศูนย์ฟิตเนส และเข้าไปลบชื่อของผู้ที่จองคิวอันดับ 1 ออก เพื่อให้เจ้านายผู้ออกคำสั่งเลื่อนขึ้นมาเป็นอันดับ 3 แทน ซึ่งเมื่อมันกลับมารายงานให้ฟังว่าทำอะไรไปบ้าง แอนดรูว์ยอมรับว่าตกใจกับสิ่งที่เกิดขึ้น และขอให้มันดึงรายชื่อของคนที่จองคิวอันดับที่ 1 กลับมา
อย่างไรก็ดี AI Agent ของเขาบอกว่า ไม่สามารถทำได้ เขาจึงแจ้งไปยังฟิตเนสเพื่อให้แก้ไขช่องโหว่นี้ ที่สำคัญ การลบรายชื่อของผู้ที่จองคิวอันดับ 1 ออกไปจากลิสต์เป็นสิ่งที่เขาไม่ได้ร้องขอให้มันทำแต่อย่างใด (AI Agent ที่แอนดรูว์ใช้คือ Claude จากค่าย Anthropic)
กรณีของแอนดรูว์ ทำให้ผู้เชี่ยวชาญด้านซีเคียวริตี้ต้องคิดเพิ่มในหลายมุมเกี่ยวกับการเจาะระบบในอนาคต ที่คนสั่งอาจเป็นผู้ใช้ทั่วไปที่ไม่ได้มีความรู้ด้านไอทีเลย และอาจจะแค่สั่ง AI ว่า จองที่นั่งคลาสนี้ให้ได้ จากนั้นปล่อยให้เป็นหน้าที่ของ AI ไปทำภารกิจให้สำเร็จ ซึ่งข้อดีของกรณีนี้ก็คือ ผู้ใช้ทั่วไปยังเข้าไม่ถึง Agent ที่ทำงานได้ระดับนี้มากนัก
อีกหนึ่งประเด็นที่ต้องตั้งคำถามก็คือ ใครจะเป็นผู้รับผิดในกรณีดังกล่าว หากเกิดความเสียหายขึ้นมา เพราะเคสของแอนดรูว์ เขาไม่ได้เป็นคนสั่งให้ AI Agent ลบรายชื่อของคนที่จองคิวคนแรกออกไปเพื่อให้เขาขึ้นมาแทนที่ ส่วน AI Agent ก็แค่ต้องการทำภารกิจที่ได้รับมอบหมายให้สำเร็จ (ซึ่งมันอาจตั้งใจทำงานนี้มาก ๆ) หรือจะเป็นบริษัทผู้พัฒนา AI ที่ไม่ได้ควบคุมขีดจำกัดของ Agent เอาไว้อย่างรัดกุมมากพอ แต่เชื่อว่ากรณีดังกล่าวจะทำให้การใช้งาน AI Agent ในอนาคตเกิดการเปลี่ยนแปลงอย่างแน่นอน