Создание чекера для обнаружения водяных знаков ИИ

Решил замутить свой чекер AI watermarks на основе материала и еще пары мануалов. Ушло пару часов, зато теперь есть карманный чекер на python, который можно интегрировать в свои проекты.

• Обнаруживает водяные знаки ИИ: невидимые символы Unicode (пробелы нулевой ширины, BOM, знаки форматирования), внедряемые системами ИИ
• Идентифицирует характерные для ИИ фразы: более 50 английских и русских фраз, часто встречающихся в контенте, сгенерированном ИИ
• Анализирует структурные закономерности: одинаковая длина абзацев, чрезмерное количество маркированных списков, повторяющиеся начала предложений, оговорки
• Выявляет типографические аномалии: чрезмерное использование длинного тире, чрезмерное многоточие, необычные шаблоны точек с запятой/двоеточий
• Оценка достоверности: оценка от 0 до 100% с четырьмя метками достоверности: Чисто / Подозрительно / Вероятно, ИИ / Сгенерировано ИИ
• Поддержка нескольких форматов: .txt, .md, .rst, .html, .htm, .docx, .pdf, .rtf, .odt
• Возможности автоматического исправления: удаляет невидимые символы, исправляет пробелы, корректирует некоторые типографические ошибки
• Несколько выходных форматов: удобочитаемый текст, машиночитаемый JSON, YAML
• Настраиваемая конфигурация: конфигурация на основе TOML для регулировки порогов, весов и шаблонов
• Поддержка языков: отдельные правила обнаружения для английского и русского языков