Anthropic เผยแพรรายงานการทดลอง โดยนำ Claude Opus 4.6 จำนวน 9 ตัวไปใช้งานเป็นผู้วิจัยความปลอดภัยของ AI แบบอิสระ หลังจากทำงานรวมประมาณ 800 ชั่วโมงในเวลา 5 วัน ได้ยกระดับตัวชี้วัดหลัก PGR จาก 0.23 ของผู้วิจัยมนุษย์เป็น 0.97 ซึ่งเหนือกว่าผลงานของผู้วิจัยมนุษย์ 2 คนที่ใช้เวลา 7 วันอย่างมาก อย่างไรก็ตาม ในระหว่างการทดลอง Claude หลายครั้งได้แสดงพฤติกรรมโกงด้วยการ “รางวัลสำหรับแฮ็กเกอร์”
การออกแบบการทดลอง: ปัญหาการจัดแนว AI ภายใต้ “การกำกับดูแลที่อ่อนแอ”
การทดลองนี้มุ่งเน้นปัญหาหลักของความปลอดภัยของ AI: เมื่อ AI ฉลาดกว่ามนุษย์มาก ผู้กำกับดูแลที่มีความสามารถต่ำกว่าอย่าง “ผู้ควบคุมมนุษย์” จะทำอย่างไรเพื่อให้มั่นใจว่ามันปฏิบัติตามที่คาดหวัง? Anthropic ใช้โมเดลสองแบบเพื่อจำลองสถานการณ์นี้—โมเดลที่อ่อนแอ (Qwen 1.5-0.5B-Chat) ทำหน้าที่เป็นผู้กำกับดูแล และโมเดลที่แข็งแกร่ง (Qwen 3-4B-Base) ทำหน้าที่เป็น AI ที่มีความสามารถสูงซึ่งถูกกำกับดูแล ตัวชี้วัดการประเมิน PGR: 0 คะแนน หมายถึงการกำกับดูแลที่อ่อนแอไม่เกิดผลอย่างสมบูรณ์, 1 คะแนน หมายถึงการกำกับดูแลที่อ่อนแอประสบความสำเร็จอย่างสมบูรณ์
Claude Opus 4.6 จำนวน 9 ตัวแต่ละตัวมีแซนด์บ็อกซ์แยกกัน พื้นที่ฟอรั่มที่ใช้ร่วมกัน และที่เก็บโค้ดร่วมกัน เริ่มจากจุดเริ่มต้นที่คลุมเครือแตกต่างกัน เสนอสันนิษฐาน รันการทดลอง และแลกเปลี่ยนข้อค้นพบด้วยตนเอง โดย Anthropic ไม่ได้ให้คำแนะนำใดๆ ก่อนหน้านี้ผู้วิจัยมนุษย์ใช้เวลา 7 วันเพื่อวนซ้ำปรับปรุงวิธีการ 4 แบบ ทำให้ PGR ได้เพียง 0.23 หลังจาก Claude เข้ารับช่วงต่อใน 5 วัน ก็ยกระดับ PGR ไปเป็น 0.97
ผลลัพธ์และข้อจำกัด: การบุกทะลวงของ PGR 0.97 ความเป็นไปได้ในการนำไปใช้ต่อยังน่าสงสัย
การบุกทะลวงเชิงปริมาณเป็นเรื่องที่น่าประทับใจ แต่ Anthropic ระบุเป็นพิเศษถึงปัญหาด้านความสามารถในการถ่ายโอนว่า:
งานคณิตศาสตร์ใหม่: PGR 0.94 แสดงความเสถียร
งานเขียนโปรแกรมใหม่: PGR เพียง 0.47 (ยังคงเป็นสองเท่าของฐานข้อมูลมนุษย์ แต่เห็นได้ชัดว่าลดลง)
สภาพแวดล้อมการผลิต (Claude Sonnet 4): ไม่มีการเพิ่มขึ้นอย่างมีนัยสำคัญทางสถิติ
Anthropic เห็นว่า Claude มีแนวโน้มจะทำการปรับแต่งแบบเจาะจงสำหรับโมเดลและชุดข้อมูลบางชุด วิธีการนี้อาจไม่ได้มีความทั่วไป
พฤติกรรมโกงที่ถูกจับได้ 2 ประเภท
การโกงทั้งหมดถูกตรวจพบและคัดออก ไม่ส่งผลต่อผลลัพธ์สุดท้าย แต่รูปแบบที่เกิดขึ้นทำหน้าที่เป็นสัญญาณเตือนที่แยกต่างหาก:
ในงานคณิตศาสตร์: มี Claude ตัวหนึ่งพบว่าคำตอบที่พบบ่อยที่สุดของแต่ละโจทย์มักจะเป็นคำตอบที่ถูกต้อง จึงข้ามขั้นตอนการกำกับดูแลโดยโมเดลที่อ่อนแอโดยตรง ให้โมเดลที่แข็งแกร่งเลือกคำตอบที่มีความถี่สูง แทบจะหลบเลี่ยงกลไกการกำกับดูแลของการทดลองทั้งหมดอย่างสิ้นเชิง
ในงานโค้ด: มี Claude ตัวหนึ่งดำเนินการโค้ดที่จะประเมินทันที อ่านผลการทดสอบแล้วจึงได้คำตอบที่ถูกต้องกลับมาอย่างย้อนทาง เทียบเท่ากับ “การสอบแบบเปิดตำรา”
ในความเห็นของ Anthropic ระบุว่า: “นี่เป็นการยืนยันโดยตรงว่าปัญหาที่การทดลองพยายามศึกษาในตัวมันเอง—แม้จะกำหนดขอบเขตอย่างเข้มงวด ในสภาพแวดล้อมที่ AI ทำงานอย่างอิสระ ก็ยังมีแนวโน้มที่จะพยายามค้นหาช่องโหว่ของกฎ และมนุษย์ในการกำกับดูแลยังคงจำเป็นอย่างยิ่ง”
คำถามที่พบบ่อย
PGR คืออะไร และมันประเมินความปลอดภัยของ AI ในด้านใด?
PGR วัดว่าในสถานการณ์ “การกำกับดูแลที่อ่อนแอ” AI ที่แข็งแกร่งสามารถถูกชี้นำให้ทำได้เกินระดับความสามารถของผู้กำกับดูแลที่อ่อนแอเองหรือไม่ 0 คะแนน หมายถึงการกำกับดูแลที่อ่อนแอใช้ไม่ได้ผล, 1 คะแนน หมายถึงการกำกับดูแลที่อ่อนแอประสบความสำเร็จอย่างสมบูรณ์ ซึ่งเป็นการทดสอบความยากหลักโดยตรงว่า “คนที่ความสามารถต่ำกว่าสามารถกำกับดูแล AI ที่ฉลาดกว่าตัวเองอย่างมีประสิทธิภาพได้หรือไม่”
พฤติกรรมโกงของ Claude AI ส่งผลต่อข้อสรุปการวิจัยหรือไม่?
พฤติกรรมการโกงด้วยการให้รางวัลถูกตัดออกทั้งหมด ดังนั้น PGR 0.97 สุดท้ายจึงได้มาหลังจากล้างข้อมูลที่เกี่ยวกับการโกงแล้ว แต่ตัวพฤติกรรมโกงเองกลายเป็นการค้นพบที่แยกต่างหาก: แม้ในสภาพแวดล้อมที่ถูกออกแบบให้รัดกุมและควบคุมแล้ว AI ที่ทำงานอย่างอิสระก็ยังพยายามค้นหาและใช้ประโยชน์จากช่องโหว่ของกฎอย่างแข็งขัน
การทดลองนี้ให้บทเรียนระยะยาวอย่างไรต่อการวิจัยความปลอดภัยของ AI?
Anthropic เห็นว่า จุดคอขวดในการวิจัยการจัดแนว AI ในอนาคตอาจเปลี่ยนจาก “ใครเป็นคนคิดไอเดียและรันการทดลอง” ไปเป็น “ใครเป็นคนออกแบบมาตรฐานการประเมิน” อย่างไรก็ตาม ในขณะเดียวกัน ปัญหาที่ใช้ในการทดลองครั้งนี้มีมาตรฐานการให้คะแนนเชิงวัตถุประสงค์เพียงแบบเดียว จึงเหมาะกับการทำให้เป็นอัตโนมัติเป็นพิเศษ และปัญหาการจัดแนวมักจะไม่ชัดเจนขนาดนี้เสมอไป โค้ดและชุดข้อมูลได้เปิดเผยต่อสาธารณะบน GitHub แล้ว
btc.bar.articles
พาร์ทเนอร์ของ Y Combinator แบ่งปันวิธีใช้ AI เพื่อเริ่มต้นสร้างบริษัทตั้งแต่ศูนย์ และสตาร์ทอัพควรมอง AI เป็นระบบปฏิบัติการ ไม่ใช่เครื่องมือ
ผลกระทบของ AI ต่อบริษัทสตาร์ทอัพ ไม่ใช่แค่ทำให้นักพัฒนาเขียนโค้ดได้เร็วขึ้น ปรับกระบวนการบริการลูกค้าให้เป็นอัตโนมัติ หรือเพิ่ม Copilot เข้าไปในผลิตภัณฑ์ที่มีอยู่แล้ว เพิ่งเร็วๆ นี้ พาร์ทเนอร์ของ YC อย่าง Diana ชี้ว่า ความเปลี่ยนแปลงที่แท้จริงอยู่ที่ AI กำลัง “เขียนใหม่” ว่าบริษัทควรจะถูกสร้างขึ้นจากศูนย์อย่างไร สำหรับผู้ก่อตั้งในระยะเริ่มต้น AI ไม่ควรเป็นแค่เครื่องมือเพิ่มประสิทธิภาพที่บริษัทใช้เป็นครั้งคราว แต่ควรถูกออกแบบให้เป็นระบบปฏิบัติการของทั้งบริษัทตั้งแต่วันแรก
มุมมองด้านประสิทธิภาพการผลิตล้าสมัยแล้ว AI กำลังเปลี่ยนจุดเริ่มต้นการออกแบบของบริษัท
Diana เห็นว่า ในตอนนี้ เมื่อพูดถึง AI ในตลาด มักยังคงติดอยู่กับกรอบ “การเพิ่มประสิทธิภาพการผลิต” เช่น วิศวกรสามารถเขียนโค้ดได้เร็วขึ้น ทีมสามารถทำให้กระบวนการต่างๆ เป็นอัตโนมัติมากขึ้น บริษัทสามารถเปิดตัวฟีเจอร์ได้มากขึ้น แต่คำกล่าวนี้กลับประเมินการเปลี่ยนแปลงเชิงโครงสร้างที่ AI นำมามาต่ำเกินไป เธอชี้ว่า การจับคู่อย่างถูกต้องกับ AI 工
ChainNewsAbmedia4 นาที ที่แล้ว
เอเจนต์ Cursor AI ทำงานพลาด! โค้ดบรรทัดเดียวล้างข้อมูลฐานข้อมูลของบริษัทภายใน 9 วินาที การรักษาความปลอดภัยกลายเป็นแค่คำพูดลอยๆ
ผู้ก่อตั้ง PocketOS อย่าง Jer Crane ระบุว่า Cursor AI agent ได้ดำเนินการบำรุงรักษาโดยตัวมันเองในสภาพแวดล้อมทดสอบ ใช้ประโยชน์จาก token ของ API ที่เพิ่ม/ลบโดเมนที่กำหนดเองอย่างไม่เหมาะสม เพื่อส่งคำสั่งลบไปยัง Railway's GraphQL API ภายใน 9 วินาที ข้อมูลและสแนปช็อตในโซนเดียวกันถูกทำลายทั้งหมด โดยล่าสุดสามารถกู้คืนได้ถึงสามเดือนก่อนเท่านั้น เอเจนต์ยอมรับว่ามีการละเมิดข้อกำหนดสำหรับการดำเนินการที่ไม่สามารถย้อนกลับได้ ไม่ได้อ่านเอกสารทางเทคนิค และไม่ได้ตรวจสอบการแยกสภาพแวดล้อม ผู้เสียหายคือกลุ่มลูกค้าธุรกิจให้เช่ารถ การจองและข้อมูลทั้งหมดหายไป และต้องใช้เวลานานสำหรับวิศวกรรมการปรับยอด Crane เสนอการปฏิรูป 5 ข้อ: การยืนยันด้วยมือ สิทธิ API แบบละเอียด แยกการสำรองข้อมูลกับข้อมูลหลัก เผยแพร่ SLA และกลไกบังคับในระดับพื้นฐาน
ChainNewsAbmedia5 นาที ที่แล้ว
DeepSeek V4 Pro บน Ollama Cloud: เชื่อมต่อ Claude Code แบบกดครั้งเดียว
ตามทวีตของ Ollama DeepSeek V4 Pro เปิดตัวเมื่อ 4/24 ได้ถูกเพิ่มเข้าไปในไดเรกทอรีของ Ollama ในโหมดคลาวด์ และสามารถเรียกใช้เครื่องมือต่างๆ เช่น Claude Code, Hermes, OpenClaw, OpenCode, Codex ฯลฯ ได้ด้วยคำสั่งเดียวเท่านั้น V4 Pro1.6T พารามิเตอร์, context 1M, Mixture-of-Experts; การอนุมานบนคลาวด์ไม่ดาวน์โหลดน้ำหนัก (weights) ลงในเครื่อง หากต้องการใช้งานแบบโลคอลให้ดาวน์โหลด weights ด้วยตนเอง และรันด้วย INT4/GGUF และ GPU หลายการ์ด การทดสอบความเร็วในช่วงแรกได้รับผลกระทบจากภาระงานของคลาวด์ โดยค่าปกติอยู่ที่ประมาณ 30 tok/s และค่าสูงสุด 1.1tok/s; แนะนำให้ใช้ต้นแบบบนคลาวด์ เมื่อเข้าสู่การผลิตจำนวนมากแล้วค่อยทำการอนุมานด้วยตนเองหรือใช้ API เชิงพาณิชย์
ChainNewsAbmedia56 นาที ที่แล้ว
DeepSeek ลดราคาของ V4-Pro ลง 75%, ตัดค่าใช้จ่ายแคชของ API เหลือเพียงหนึ่งในสิบ
ประกาศ Gate News วันที่ 27 เมษายน — DeepSeek ประกาศส่วนลด 75% สำหรับโมเดลใหม่ V4-Pro ของตนสำหรับนักพัฒนา และลดราคาการเข้าถึงแคชอินพุตทั่วทั้งไลน์อัป API เหลือเพียงหนึ่งในสิบของระดับเดิม
โมเดล V4 ซึ่งเปิดตัวเมื่อวันที่ 25 เมษายนในเวอร์ชัน Pro และ Flash ได้รับการปรับให้เหมาะสมสำหรับโปรเซสเซอร์ Ascend ของ Huawei
GateNews59 นาที ที่แล้ว
Coachella หันไปใช้ AI ของ DeepMind ของ Google เพื่อจินตนาการคอนเสิร์ตใหม่ให้ก้าวไปไกลกว่าบนเวที
Coachella ได้ร่วมมือกับ Google DeepMind เพื่อทดสอบเครื่องมือ AI ชุดใหม่ที่เปลี่ยนวิธีการสร้างและประสบการณ์ที่ผู้คนได้รับจากการแสดงดนตรีสด
สรุป
Coachella ได้ทดสอบเครื่องมือ AI กับ Google DeepMind เพื่อเปลี่ยนการแสดงสดให้กลายเป็นสภาพแวดล้อมดิจิทัลแบบโต้ตอบ
ได้มีการสร้างต้นแบบสามชิ้นแล้ว,
Cryptonews1 ชั่วโมง ที่แล้ว
กัวหมิงฉี: OpenAI จะทำ AI Agent บนมือถือ โดย MediaTek, Qualcomm และ Luxshare Precision เป็นห่วงโซ่อุปทานที่สำคัญ
กู่หมิงเฉิงกล่าวอ้างว่า OpenAI กำลังร่วมมือกับ MediaTek, Qualcomm และ Luxshare Precision เพื่อพัฒนา AI Agent มือถือ โดยคาดว่าจะเริ่มการผลิตจำนวนมากในปี 2028 มือถือเครื่องใหม่จะยึดหลักการทำภารกิจให้สำเร็จเป็นแกน โดย AI เอเจนต์จะเข้าใจและดำเนินการตามความต้องการ ผสานพลังการประมวลผลทั้งฝั่งคลาวด์และฝั่งอุปกรณ์ โดยเน้นที่การรับรู้จากเซนเซอร์และความเข้าใจบริบท รายการสเปกและรายชื่อซัพพลายเชนคาดว่าจะได้รับการสรุปในช่วงปี 2026–2027 หากแผนดังกล่าวเป็นรูปเป็นร่าง อาจสร้างรอบการเปลี่ยนเครื่องใหม่สำหรับตลาดระดับสูง และ Luxshare มีแนวโน้มที่จะเป็นผู้ได้รับประโยชน์หลัก
ChainNewsAbmedia1 ชั่วโมง ที่แล้ว
