ตลอดเวลาที่ใช้ GitHub Copilot ในการรีวิว PR เพราะ GitHub จะรันอัตโนมัติและดูเหมือนจะไม่เสียค่าใช้จ่าย

แต่การรีวิวในช่วงหลังทำให้ผมเริ่มสงสัยว่ามัน “เข้าใจ” อะไรจริงๆ

ตัวอย่างเช่นคำถามพื้นฐานมาก: มันยังคงคิดว่า 1.82.0 สูงกว่า 1.91.1 ซึ่งเป็นข้อผิดพลาดในการเปรียบเทียบเวอร์ชันที่พบได้ในโมเดลใหญ่ในช่วงแรกๆ

ถ้าพูดว่านี่เป็นปัญหาของโมเดล ก็ยังมีอีกเรื่องคือมันยังคิดว่า rust 1.91.1 ยังไม่ออก ซึ่งเปิดเผยว่าความสามารถในการค้นหาและประเมินสถานะจริงของ agent ก็ยังไม่ดีเท่าไหร่

ปัญหาอีกอย่างที่ใหญ่กว่าคือ: การรีวิวของ Copilot ชัดเจนว่าเป็นการดูทีละไฟล์

ตรวจสอบสไตล์โค้ดและเงื่อนไขขอบเขตได้ดี แต่ขาดมุมมองแบบภาพรวม เช่นใน PR หนึ่ง ตัว agent คำนวณเส้นทางสัมพัทธ์ผิด ทำให้คัดลอกไฟล์เดียวกันหลายชุด ในความเป็นจริงมีแค่ชุดเดียวที่ใช้งานได้ — ปัญหาแบบนี้มันไม่เคยพบเลย หรือแม้แต่ไม่สนใจว่าปัญหาเดิมใน PR นั้นต้องการอะไร

สำหรับผม มองว่า agent สำหรับรีวิวโค้ดที่ดีควรเริ่มจากการประเมินภาพรวมก่อน:

PR สอดคล้องกับ issue หรือไม่, สอดคล้องกับเป้าหมายของโปรเจกต์หรือไม่, การจัดวางไฟล์และโครงสร้างเป็นไปอย่างสมเหตุสมผลหรือไม่ สุดท้ายจึงเป็นเรื่องของไวยากรณ์และรายละเอียด

ช่วงนี้กำลังจะเพิ่มโหมด reviewer ให้กับ holon แล้ว
ทุกคนตอนนี้จริงๆ ใช้ reviewer agent กันไหม? ใช้แบบไหนกันบ้าง?