5 дней мониторинга своего инструмента, 306 срабатываний, 100% ложных срабатываний.


Оказывается, я постоянно вдыхал его собственные выхлопы 🤦
Добавил в Claude Code хуки, перед跨машинным SSH или записью важных файлов выводить баннер для предупреждения, боюсь, что быстро нарушу железный закон SSOT.
В комплекте скрипт статистики для подсчёта срабатываний, сегодня открыл образец — всё ложные срабатывания.
Баг не в хуке, а в скрипте статистики: он grep-ит строку "⚠️ 跨机器" из логов.
Но в логах минимум три вида эха: сам вывод баннера хуком, результат инструмента, повторяющий баннер, и даже в описании задачи "hook в эту неделю сработал N раз" — всё считается.
Я считаю не количество срабатываний, а эхо, которое говорит инструмент.
Исправление: пусть инструмент сам пишет audit log.
log_trigger() { echo "{ts,hook,pattern,target}" >> ~/.claude/logs/hook-trigger.jsonl }
Инструмент сам записывает строку при срабатывании, чтобы на следующей неделе можно было провести анализ по реальным данным.
Самый лёгкий способ обмануть свой инструмент — это он сам.
Хук Claude Code, SDK для отслеживания, агент мониторинга — всё равно, если объект мониторинга включает "сам себя", grep-инг после — ловушка в цикле.
Его вывод возвращается в лог, повторяется, даже попадает в описание задачи, невозможно понять, какая строка — настоящее срабатывание, а какая — его собственное слово.
Чтобы узнать, сколько раз инструмент был использован, нужно заставить его говорить самому, а не полагаться на лог.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить