Отчет о разработке XRumer 7.0 Elite за январь

XRumer 7.0 beta-6

• Произведена акция по сбору дополнительных DLE-ресурсов среди клиентов (за соответствующую плату); оплата всем участникам будет произведена по завершении сбора и проверки ресурсов
• Сделаны мелкие поправки, в частности в системе анонимности и проверки прокси
• Продолжены работы над ReCaptcha и DLE
• Поправлены логические ошибки, присутствовавшие в некоторых участках xurl.txt и xmessages.txt
• Исправлены погрешности, из-за которых ранее XRumer мог делать лишние, замедляющие операции
• Профинансированы и начаты работы над улучшением внешнего вида хрумера (интерфейс, дизайн элементов, юзабилити); данные изменения вступят в силу с оф.релизом новой версии - по завершении бета-тестирования
• Устранён ошибочный переход на ссылки "Report abuse"
• Устранена ошибка "Range Check Error", возникающая на типах капчи, используемых на доменах *.informe.com (ошибка была в модуле стороннего разработчика)
• В инструмент фильтрации базы по блек-листу добавлен файл xblack_inurl.txt, благодаря которому возможна фильтрация не только по доменам в ссылках, но и по содержимому всей ссылки - это упрощает удаление контактных форм и других мусорных и бесполезных ссылок из базы
• Внесён жёсткий запрет на постинг в таких ресурсах, как Umaxforum, Gofuckbiz, Maultalk, Mastertalk, Armadaboard и некоторых других
• Настройки Масс-ПМ вынесены отдельным пунктом, добавлены новые опции, в частности частота сохранения исходящих сообщений
• Запущен тест на стабильность в "экстримальных" условиях (макс.количество потоков, максимальный размер загружаемых страниц, все возможные макросы в проекте)
• Продолжены работы над ReCaptcha (создание доп.фильтра) и над DLE (оптимизация)
• Важно: получены приемлемые результаты распознавания капчи DLE при длительности обработки не более 0,1...0,3 сек (при известных позициях образа). Хрумеру известно 2 типа данной капчи: пример-1, пример-2. Данная защита используется на десятках тысяч форумов и блогов. Работы над данным типом капчи на завершающей стадии.
• Добавлены доп.опции в системе Самообучения
• В целях отладки добавлена возможность сохранения текущей таблицы потоков в папку "Debug"
• Улучшена логика сбора ссылок на профили на нестандартных движках (в частности там, где никнейм фигурирует не в анкоре ссылки, а в самой ссылке)
• Улучшена логика сбора ссылок из писем активации: если в письме отсылается только логин и пароль, но нет ссылки активации, XRumer берёт ссылку входа на сайт из тела письма (это позволяет корректно обрабатывать те ресурсы, которые сами генерируют пароль для входа, например этот)
• Повышена стабильность участков кода, отвечающих за взаимодействие с плагинами во время авторизации хрумера
• Улучшена обработка форумов на движках YaBB и JiveForums
• Улучшена логика обработки текстовых защит - снижена вероятность срабатывания неверного правила за счёт анализа результатов
• Проведены работы над повышением удобства обучения текстовым защитам
• Продолжены работы над ReCaptcha: всвязи с небольшим усложнением данной защиты, вносятся коррективы в её обработку (несмотря на произошедшия усложнения, данная защита хрумером по прежнему благополучно обходится даже старым алгоритмом)
• Добавлены новые признаки в xmessages.txt и xurl.txt - что дополнительно повысило пробиваемость и точность отчётов
• Сделаны поправки в передаче параметров в xview.exe
• Оптимизированы участки кода, отвечающие за распознавание текстовой защиты
• Внесены поправки в системе авторизации
• Улучшена собираемость ссылок на профили на последних версиях VBulletin, IPB и phpBB
• Продолжены работы над ReCaptcha и DLE
• Устранён ряд ошибок, которые могли косвенно вызывать утечки памяти
• Сделан ряд поправок в модулях инициализации хрумера, для повышения стабильности работы и запуска на Windows 7
• Устранена причина многократного постинга на некоторых форумах
• Улучшена обработка движка SMF, и активации аккаунтов на таких форумах
• Подключен метод моментальной загрузки базы, независимо от её размеров (база более 1 Гб загружается так же быстро, как и база в 1 Кб), что дополнительно ускорило запуск XRumer
• Добавлено несколько новых признаков в xmessages.txt
• Скорректирована генерация базы RLinksList
• Профинансированы и начаты работы по оптимизации ряда модулей парсинга - обработка редиректов, сбор ссылок со страницы для перехода: это должно снизить нагрузку на CPU во время обработки перегруженных страниц (слишком больших страниц гостевых книг и блогов)
• Продолжены работы над ReCaptcha и DLE, также добавлен ещё один распространённый тип защиты на обучение
• Внесены коррективы в отчётность хрумера
• Исправлено сохранение настроек, выбранных в опциях отчётности
• Проведены спец.тесты для проверки стабильности на отдельных движках
• К Хрумеру подключено 3 новых инструмента: объединение баз, разбиение баз и перемешивание базы
• Завершена перепроверка прилагаемой базы, запущена её сортировка
• Проведены работы над оптимизацией распознавания ReCaptcha и DLE-капчи
• Исправлена ещё одна серьёзная причина "подвисания" потоков: некоторые типы защит неверно детектировались, что приводило к сильному замедлению обработки
• Благодаря изменению логики в проверке наличия профиля, значительно увеличен % сохраняемых профилей, особенно в режиме "только регистрация" при активации ссылок из почты
• Проведена дополнительная оптимизация общего алгоритма работы
• Скорректирована обработка ресурсов, основанных на движке "XOOPS"
• Скорректирован список User-agentов, на некоторые из них ресурс мог выдавать ошибку "403 Forbidden"
• Всвязи с усложнением капчи Ucoz, её распознавание частично отключено, т.к. оно бесполезно повышает нагрузку на процессор
• Архив с новой версией XRumer-а протестирован и закачан на сервер
• % успешного распознавания данного типа капчи дополнительно повышен
• Улучшена работа инструмента обучения текстовым защитам, добавлена возможность моментальной проверки обработки textcaptcha.txt
• Основной результат работы модуля VBulletin Spam-o-matic это блокировка по базе IP/никнеймов/емейлов известных сервисов StopForumSpam и Akismet, рекомендуем использовать #gennick, варьируемый адрес e-mail на сервисе gmail.com и перед началом работы обновлять список прокси
• Оптимизирована общая логика обработки графических защит: ранее, если тип защиты неизвестен, XRumer всё равно мог делать многократные попытки распознать, что ощутимо замедляло работу
• Скорректировано формирование POST-запросов при распознавании ReCaptcha
• Улучшена логика работы в режиме "обязательная регистрация + постинг"; сокращён % ложных строк в отчёте "Успешные" для данного режима
• Дополнен файл xpostmask.ini
• Оптимизирован режим ответа в уже существующие топики
• Скорректирована работа режима Масс-ПМ, также masspm.ini дополнен новой версией phpBB
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Тестирование модуля распознавания новых типов капчи phpBB завершено успешно, подвердилось сокращение "подвисающих" потоков, примеры этих типов можно увидеть здесь и здесь - данная мера увеличивает и скорость, и % успешных регистраций
• Продолжен анализ VBulletin 4.0 с новым модулем защиты от вебспама, добавлена логика включения прокси/сокс на ресурсах и другие спец.меры, где используется данная защита (опционально)
• Увеличена скорость обработки ресурсов в режиме "только ответ в чужой топик"
• Улучшена обработка форумов IPB версий 2010-2011 годов, в том числе дополнен xpop.txt для активации профилей на таких ресурсах
• Исправлена обработка макроса #quote (но, он работает только в соответствии с масками, заданными в файле xpostmask.ini)
• Поправлен постинг комментариев в ресурсы, собираемые по признаку "Enter your comment for this picture in the text box below." intitle:Add
• Добавлено несколько признаков в xmessages.txt и xurl.txt
• Добавлена опция отключения кэширования для макросов #file и #file_links
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Подключен модуль для распознавания 2х новых типов капчи phpBB (о котором было сообщено ранее), запущено тестирование, данный модуль должен устранить проблему "подвисания" некоторых потоков и увеличить скорость постинга
• Приобретена лицензия VBulletin 4.0 с новым модулем защиты от вебспама, для изучения возможностей его обхода
• Поправлен алгоритм распознавания составной капчи
• Скорректирован анализ 100% успешной регистрации, теперь ошибочных сообщений о 100% успешной регистрации (и соответственно количество ложных Registered Accounts) будет меньше
• В прилагаемом xview.exe исправлена возможность открывать файлы, содержащие в имени кириллицу и спец.символы
• Поправлена обработка макросов
• Поправлен режим предварительного просмотра, с учётом новых макросов #grabbed, #title и #quote
• Дополнен файл xurl.txt (новые шаблоны для IPB и VBulletin), благодаря чему снижен % появления ошибок "unknown problem", увеличена доля сохраняемых ссылок на профили
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Скорректирована генерация базы RLinksList (особенно в режиме "только ответ в чужой топик")
• Поправлена работа настроек анонимности
• Проведены работы над оптимизацией распознавания ReCaptcha (потенциально возможно ускорение в 3 раза)
• Добавлены на обучение 2 новых типа капчи phpBB (один из них уже известен хрумеру, но имеет дополнительное зашумление, и для него требуется фильтр)
• XRumer дополнительно обучен ещё 1-му типу составной капчи, она используется на ресурсах, которые можно найти по запросу "Powered by WR-Board" "Защитный код"
• Сделан ряд поправок в логике обработки ресурсов
• Оптимизировано несколько участков кода
• Сделаны поправки в интерфейсе

SocPlugin 1.7

• Скорректирован подсчёт количества участников в группе, получение списка групп, сбор участников из группы - все эти поправки связаны с изменениями в структуре Odnoklassniki.ru
• Обновлён сбор информации из анкет в Одноклассниках
• Скорректирована рассылка комментариев к фото на Одноклассниках
• Скорректирована рассылка личных сообщений на Одноклассниках
• В Одноклассниках исправлена ошибка залогинивания для тех случаев, когда в анкете 0 друзей
• Для случаев, когда сайт Odnoklassniki.Ru временно недоступен (профилактические работы и т.п.) - добавлено соответствующее уведомление
• Произведён промежуточный тест
• Скорректирована отправка комментариев к фото и к видео на VKontakte
• Обновлён модуль сбора анкет по параметрам на VKontakte, скорректирована общая логика работы с VKontakte в соответствии с изменениями в этой соц.сети
• Добавлено уведомление, что анкету необходимо активировать через смс
• Расширены опции обхода защит: т.к. выдержка дополнительной паузы на VKontakte при ошибке "Действие выполнено слишком быстро" редко приводит к положительному результату, добавлена возможность автоматически останавливать процесс при возникновении этой ошибки (и переходить к следующему шагу, если он задан)
• Частично обновлён модуль обработки групп на Одноклассниках: теперь на этом сайте многие операции с группами производятся через Java-скрипт, что затрудняет их обработку
• Проведён ряд экспериментов для обхода бана по IP, улучшено использование прокси/SOCKS
• Обновлён модуль обработки групп в Одноклассниках, в соответствии с изменением дизайна сайта
• Обновлён сбор анкет из групп
• Добавлена опция постобработки для удаления и успешно, и неуспешно обработанных анкет (для того, чтобы следующий или параллельный аккаунт не обрабатывал их повторно)

ModCreator 1.0

• Внесены поправки и улучшения в модуле визуального представления (встроенного браузера)
• Создан модуль взаимодействия с XRumer-ом для проверки результатов обучения
• Создан модуль синтаксической проверки ассоциативных списков
• Добавлены элементы интерфейса для добавления новых полей

Прочее

• Проведены работы над рядом серверных модулей для повышения безопасности и улучшения контроля
• Добавлены промо-материалы для участников партнёрской программы

---

Читайте также: