Отчет о разработке XRumer 7.0 Elite за февраль

XRumer 7.0 beta-5

• Хрумер обучен дополнительно 4-м типам блогов и 2-м новым типам форумов
• Добавлены на распознавания 3 типа распространённой капчи (см. пример), используемой на SMF-форумах; данные форумы специфичны так же тем, что на них нельзя часто производить POST-запросы - между ними обязательно должна выдерживаться определённая пауза
• Дополнительно оптимизированы наиболее "узкие" участки кода, которые входят в список наиболее часто используемых
• Продолжены работы над оптимизацией HTML-парсинга с целью максимального снижения нагрузки на процессор
• Скорректирована проверка SOCKS 5-й версии, а также использование таких SOCKS
• Начата работа над обновлением модуля проверки почты: поставлена задача реализовать многопоточное скачивание писем и параллельную активацию ссылок сразу с нескольких почтовых ящиков - это необходимо в условиях слишком быстрого их заполнения: при очень высокой скорости регистрация почта может наполняться быстрее, чем активироваться; данные меры должны привести к дополнительному приросту скорости, а также усложнению бана по e-mail такими системами, как Honeypot и StopForumSpam
• Профинансирована переработка концепции дизайна, в частности логотипа XRumer; предыдущие работы отклонены в связи с несоответствием ТЗ
• Выявлен и устранён ряд погрешностей, которые могли вызывать нестабильную работу на Windows 7, Windows Vista, в т.ч. 64-битных - как следствие, повышена стабильность работы хрумера
• Начата работа над централизованным сервисом по коллективному обучению хрумера текстовой капче; принимающим участие в обучении хрумера предполагаются соотв.бонусы (опционально) - бесплатное продление абон.платы / выплата через WebMoney + доступ к онлайн-обновлению textcaptcha.txt; данный механизм позволит максимально оперативно обновлять базу данных по текстовым капчам, постоянно увеличивая пробиваемость высокопосещаемых ресурсов
• Продолжены работы над DLE; распознавание ReCaptcha доработано до приемлемого уровня
• Внесены поправки в логике обработки движка DLE, а также блогов, схожих по структуре с DLE
• Увеличена подробность отладочных отчётов (папка Debug)
• Для повышения скорости работы, упрощён ряд операций по обработке стандартных ресурсов
• Улучшена обработка вложенных макросов
• Внесены поправки в логике обработки движка DLE, а также блогов, схожих по структуре с DLE
• Увеличена подробность отладочных отчётов (папка Debug)
• Для повышения скорости работы, упрощён ряд операций по обработке стандартных ресурсов
• Улучшена обработка вложенных макросов
• Акция по сбору DLE-ресурсов завершена, произведены выплаты участникам; запущено тестирование по собранной базе
• Протестирован альтернативный метод распознавания DLE-капчи, введен ряд мер по оптимизации расхода памяти в общем алгоритме распознавания и хранения графических образов
• Продолжены работы над ReCaptcha и DLE (необходимо достичь достаточно высокой скорости работы для того, чтобы она не уступала версии XRumer 5.0, при этом превосходя по пробиваемости)

SocPlugin 1.8

• В систему распознавания капчи на VKontakte добавлены русскоязычные образы, что позволило обходить также и виды защиты с использованием кириллицы
• Также, при этом выявлено, что в русскоязычной защите используется набор не более, чем из 14 букв алфавита, что дополнительно облегчило задачу распознавания
• Обновлён сбор списка друзей на VKontakte
• Обновлён метод определения расширенной информации в анкете на VKontakte (школа, вуз, факультет, места отдыха и т.п.)
• Для случаев, когда в анкете указан ложный возраст, либо возраст не указан вообще - реализован метод определения приблизительного значения возраста по информации о датах обучения (поступление и окончание школы, окончание ВУЗа и т.п.), основываясь на среднестатистических данных, как показал тест, сред
• Дополнительно улучшена работа с группами в Одноклассниках
• Реализован вывод уведомления для тех случаев, когда необходимо подтвердить последние 4 цифры телефона на VKontakte
• Исправлен редкий баг, возникающий из-за нестандартных параметров анкеты (в частности, если указана невозможная дата рождения и т.п.)
• Восстановлен механизм отклонения/принятия заявок в друзья на VKontakte
• Восстановлен механизм отклонения/принятия приглашений в группы на VKontakte
• В соответствии с изменениями в соц.сетях, обновлён алгорити автограббинга - сбора информации с анкет: как характеристики, там и фотографии
• Для VKontakte реализован мониторинг текущего распознавания капчи, для появления соотв. мониторинга необходимо навести курсор на область с надпистью "Успешно распознано графических защит: ..."
• Оптимизирован пост-процессинг
• Внесены коррективы в алгоритме обхода защиты Одноклассников
• Частично исправлен сбор друзей друзей на VKontakte
• Для VKontakte реализован мониторинг текущего распознавания капчи, для появления соотв. мониторинга необходимо навести курсор на область с надпистью "Успешно распознано графических защит: ..."
• Оптимизирован пост-процессинг
• Внесены коррективы в алгоритме обхода защиты Одноклассников
• Частично исправлен сбор друзей друзей на VKontakte
• в Одноклассниках исправлена ошибка залогинивания для тех случаев, когда в анкете 0 друзей
• скорректирован подсчёт количества друзей на VKontakte
• дополнительно скорректирована отправка комментариев к фото на VKontakte
• скорректирована отправка личных сообщений на VKontakte
• обновлён алгоритм распознавания капчи на VKontakte, но распознавание капчи с русскими буквами по прежнему является проблемой

Прочее

• Проведены профилактические работы на серверах авторизации

Отчет о разработке XRumer 7.0 Elite за январь

XRumer 7.0 beta-6

• Произведена акция по сбору дополнительных DLE-ресурсов среди клиентов (за соответствующую плату); оплата всем участникам будет произведена по завершении сбора и проверки ресурсов
• Сделаны мелкие поправки, в частности в системе анонимности и проверки прокси
• Продолжены работы над ReCaptcha и DLE
• Поправлены логические ошибки, присутствовавшие в некоторых участках xurl.txt и xmessages.txt
• Исправлены погрешности, из-за которых ранее XRumer мог делать лишние, замедляющие операции
• Профинансированы и начаты работы над улучшением внешнего вида хрумера (интерфейс, дизайн элементов, юзабилити); данные изменения вступят в силу с оф.релизом новой версии - по завершении бета-тестирования
• Устранён ошибочный переход на ссылки "Report abuse"
• Устранена ошибка "Range Check Error", возникающая на типах капчи, используемых на доменах *.informe.com (ошибка была в модуле стороннего разработчика)
• В инструмент фильтрации базы по блек-листу добавлен файл xblack_inurl.txt, благодаря которому возможна фильтрация не только по доменам в ссылках, но и по содержимому всей ссылки - это упрощает удаление контактных форм и других мусорных и бесполезных ссылок из базы
• Внесён жёсткий запрет на постинг в таких ресурсах, как Umaxforum, Gofuckbiz, Maultalk, Mastertalk, Armadaboard и некоторых других
• Настройки Масс-ПМ вынесены отдельным пунктом, добавлены новые опции, в частности частота сохранения исходящих сообщений
• Запущен тест на стабильность в "экстримальных" условиях (макс.количество потоков, максимальный размер загружаемых страниц, все возможные макросы в проекте)
• Продолжены работы над ReCaptcha (создание доп.фильтра) и над DLE (оптимизация)
• Важно: получены приемлемые результаты распознавания капчи DLE при длительности обработки не более 0,1...0,3 сек (при известных позициях образа). Хрумеру известно 2 типа данной капчи: пример-1, пример-2. Данная защита используется на десятках тысяч форумов и блогов. Работы над данным типом капчи на завершающей стадии.
• Добавлены доп.опции в системе Самообучения
• В целях отладки добавлена возможность сохранения текущей таблицы потоков в папку "Debug"
• Улучшена логика сбора ссылок на профили на нестандартных движках (в частности там, где никнейм фигурирует не в анкоре ссылки, а в самой ссылке)
• Улучшена логика сбора ссылок из писем активации: если в письме отсылается только логин и пароль, но нет ссылки активации, XRumer берёт ссылку входа на сайт из тела письма (это позволяет корректно обрабатывать те ресурсы, которые сами генерируют пароль для входа, например этот)
• Повышена стабильность участков кода, отвечающих за взаимодействие с плагинами во время авторизации хрумера
• Улучшена обработка форумов на движках YaBB и JiveForums
• Улучшена логика обработки текстовых защит - снижена вероятность срабатывания неверного правила за счёт анализа результатов
• Проведены работы над повышением удобства обучения текстовым защитам
• Продолжены работы над ReCaptcha: всвязи с небольшим усложнением данной защиты, вносятся коррективы в её обработку (несмотря на произошедшия усложнения, данная защита хрумером по прежнему благополучно обходится даже старым алгоритмом)
• Добавлены новые признаки в xmessages.txt и xurl.txt - что дополнительно повысило пробиваемость и точность отчётов
• Сделаны поправки в передаче параметров в xview.exe
• Оптимизированы участки кода, отвечающие за распознавание текстовой защиты
• Внесены поправки в системе авторизации
• Улучшена собираемость ссылок на профили на последних версиях VBulletin, IPB и phpBB
• Продолжены работы над ReCaptcha и DLE
• Устранён ряд ошибок, которые могли косвенно вызывать утечки памяти
• Сделан ряд поправок в модулях инициализации хрумера, для повышения стабильности работы и запуска на Windows 7
• Устранена причина многократного постинга на некоторых форумах
• Улучшена обработка движка SMF, и активации аккаунтов на таких форумах
• Подключен метод моментальной загрузки базы, независимо от её размеров (база более 1 Гб загружается так же быстро, как и база в 1 Кб), что дополнительно ускорило запуск XRumer
• Добавлено несколько новых признаков в xmessages.txt
• Скорректирована генерация базы RLinksList
• Профинансированы и начаты работы по оптимизации ряда модулей парсинга - обработка редиректов, сбор ссылок со страницы для перехода: это должно снизить нагрузку на CPU во время обработки перегруженных страниц (слишком больших страниц гостевых книг и блогов)
• Продолжены работы над ReCaptcha и DLE, также добавлен ещё один распространённый тип защиты на обучение
• Внесены коррективы в отчётность хрумера
• Исправлено сохранение настроек, выбранных в опциях отчётности
• Проведены спец.тесты для проверки стабильности на отдельных движках
• К Хрумеру подключено 3 новых инструмента: объединение баз, разбиение баз и перемешивание базы
• Завершена перепроверка прилагаемой базы, запущена её сортировка
• Проведены работы над оптимизацией распознавания ReCaptcha и DLE-капчи
• Исправлена ещё одна серьёзная причина "подвисания" потоков: некоторые типы защит неверно детектировались, что приводило к сильному замедлению обработки
• Благодаря изменению логики в проверке наличия профиля, значительно увеличен % сохраняемых профилей, особенно в режиме "только регистрация" при активации ссылок из почты
• Проведена дополнительная оптимизация общего алгоритма работы
• Скорректирована обработка ресурсов, основанных на движке "XOOPS"
• Скорректирован список User-agentов, на некоторые из них ресурс мог выдавать ошибку "403 Forbidden"
• Всвязи с усложнением капчи Ucoz, её распознавание частично отключено, т.к. оно бесполезно повышает нагрузку на процессор
• Архив с новой версией XRumer-а протестирован и закачан на сервер
• % успешного распознавания данного типа капчи дополнительно повышен
• Улучшена работа инструмента обучения текстовым защитам, добавлена возможность моментальной проверки обработки textcaptcha.txt
• Основной результат работы модуля VBulletin Spam-o-matic это блокировка по базе IP/никнеймов/емейлов известных сервисов StopForumSpam и Akismet, рекомендуем использовать #gennick, варьируемый адрес e-mail на сервисе gmail.com и перед началом работы обновлять список прокси
• Оптимизирована общая логика обработки графических защит: ранее, если тип защиты неизвестен, XRumer всё равно мог делать многократные попытки распознать, что ощутимо замедляло работу
• Скорректировано формирование POST-запросов при распознавании ReCaptcha
• Улучшена логика работы в режиме "обязательная регистрация + постинг"; сокращён % ложных строк в отчёте "Успешные" для данного режима
• Дополнен файл xpostmask.ini
• Оптимизирован режим ответа в уже существующие топики
• Скорректирована работа режима Масс-ПМ, также masspm.ini дополнен новой версией phpBB
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Тестирование модуля распознавания новых типов капчи phpBB завершено успешно, подвердилось сокращение "подвисающих" потоков, примеры этих типов можно увидеть здесь и здесь - данная мера увеличивает и скорость, и % успешных регистраций
• Продолжен анализ VBulletin 4.0 с новым модулем защиты от вебспама, добавлена логика включения прокси/сокс на ресурсах и другие спец.меры, где используется данная защита (опционально)
• Увеличена скорость обработки ресурсов в режиме "только ответ в чужой топик"
• Улучшена обработка форумов IPB версий 2010-2011 годов, в том числе дополнен xpop.txt для активации профилей на таких ресурсах
• Исправлена обработка макроса #quote (но, он работает только в соответствии с масками, заданными в файле xpostmask.ini)
• Поправлен постинг комментариев в ресурсы, собираемые по признаку "Enter your comment for this picture in the text box below." intitle:Add
• Добавлено несколько признаков в xmessages.txt и xurl.txt
• Добавлена опция отключения кэширования для макросов #file и #file_links
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Подключен модуль для распознавания 2х новых типов капчи phpBB (о котором было сообщено ранее), запущено тестирование, данный модуль должен устранить проблему "подвисания" некоторых потоков и увеличить скорость постинга
• Приобретена лицензия VBulletin 4.0 с новым модулем защиты от вебспама, для изучения возможностей его обхода
• Поправлен алгоритм распознавания составной капчи
• Скорректирован анализ 100% успешной регистрации, теперь ошибочных сообщений о 100% успешной регистрации (и соответственно количество ложных Registered Accounts) будет меньше
• В прилагаемом xview.exe исправлена возможность открывать файлы, содержащие в имени кириллицу и спец.символы
• Поправлена обработка макросов
• Поправлен режим предварительного просмотра, с учётом новых макросов #grabbed, #title и #quote
• Дополнен файл xurl.txt (новые шаблоны для IPB и VBulletin), благодаря чему снижен % появления ошибок "unknown problem", увеличена доля сохраняемых ссылок на профили
• Продолжены работы над оптимизацией распознавания ReCaptcha
• Скорректирована генерация базы RLinksList (особенно в режиме "только ответ в чужой топик")
• Поправлена работа настроек анонимности
• Проведены работы над оптимизацией распознавания ReCaptcha (потенциально возможно ускорение в 3 раза)
• Добавлены на обучение 2 новых типа капчи phpBB (один из них уже известен хрумеру, но имеет дополнительное зашумление, и для него требуется фильтр)
• XRumer дополнительно обучен ещё 1-му типу составной капчи, она используется на ресурсах, которые можно найти по запросу "Powered by WR-Board" "Защитный код"
• Сделан ряд поправок в логике обработки ресурсов
• Оптимизировано несколько участков кода
• Сделаны поправки в интерфейсе

SocPlugin 1.7

• Скорректирован подсчёт количества участников в группе, получение списка групп, сбор участников из группы - все эти поправки связаны с изменениями в структуре Odnoklassniki.ru
• Обновлён сбор информации из анкет в Одноклассниках
• Скорректирована рассылка комментариев к фото на Одноклассниках
• Скорректирована рассылка личных сообщений на Одноклассниках
• В Одноклассниках исправлена ошибка залогинивания для тех случаев, когда в анкете 0 друзей
• Для случаев, когда сайт Odnoklassniki.Ru временно недоступен (профилактические работы и т.п.) - добавлено соответствующее уведомление
• Произведён промежуточный тест
• Скорректирована отправка комментариев к фото и к видео на VKontakte
• Обновлён модуль сбора анкет по параметрам на VKontakte, скорректирована общая логика работы с VKontakte в соответствии с изменениями в этой соц.сети
• Добавлено уведомление, что анкету необходимо активировать через смс
• Расширены опции обхода защит: т.к. выдержка дополнительной паузы на VKontakte при ошибке "Действие выполнено слишком быстро" редко приводит к положительному результату, добавлена возможность автоматически останавливать процесс при возникновении этой ошибки (и переходить к следующему шагу, если он задан)
• Частично обновлён модуль обработки групп на Одноклассниках: теперь на этом сайте многие операции с группами производятся через Java-скрипт, что затрудняет их обработку
• Проведён ряд экспериментов для обхода бана по IP, улучшено использование прокси/SOCKS
• Обновлён модуль обработки групп в Одноклассниках, в соответствии с изменением дизайна сайта
• Обновлён сбор анкет из групп
• Добавлена опция постобработки для удаления и успешно, и неуспешно обработанных анкет (для того, чтобы следующий или параллельный аккаунт не обрабатывал их повторно)

ModCreator 1.0

• Внесены поправки и улучшения в модуле визуального представления (встроенного браузера)
• Создан модуль взаимодействия с XRumer-ом для проверки результатов обучения
• Создан модуль синтаксической проверки ассоциативных списков
• Добавлены элементы интерфейса для добавления новых полей

Прочее

• Проведены работы над рядом серверных модулей для повышения безопасности и улучшения контроля
• Добавлены промо-материалы для участников партнёрской программы

Отчет о разработке XRumer 7.0 Elite за декабрь

XRumer 7.0

• Автоматизирован и произведён сбор статистики сообщений форумов о различных ошибках для пополнения ассоциативного списка xmessages.txt (было проанализировано несколько миллионов ресурсов на всех языках мира), результаты анализа обработаны новым инструментом [ нажмите для просмотра ], как результат ассоциативная база расширилась более, чем на 50% - ранее для достижения такого результата требовались месяцы ручного анализа
• Кроме того, в xmessages.txt добавлен ряд флагов для ускорения процессов регистрации, улучшения заполняемости форм; добавлены флаги новых движков
• Проведён масштабный эксперимент по расширению ассоциативного списка полей xas.txt: после обычного прохода по смешанной базе, были отобраны ресурсы с результатом "полууспешно", после в спец.режиме по этим ресурсам был произведён проход с использованием результатов самообучения - и были отобраны ресурсы, которые в результате из категории "полууспешные" перешли в категорию "успешные", собрана статистика какие значения из файла самообучения были задействованы [ нажмите для просмотра ]; в результате xas.txt был увеличен, но незначительно - в большинстве случаев программа заполняла поля корректно (за исключением полей для ввода капчи); кроме того, ранее не всегда корректно обрабатывался Submit, этот алгоритм также скорректирован
• Обновлён модуль для обхода защит типа Ucoz, clan.su и т.п.
• Ввиду небольшого изменения искажений в ReCaptcha и некоторого снижения распознаваемости запущен процесс переобучения алгоритма, он должен занять незначительное время
• Повышен % распознаваемости самого сложного и распространённого типа капчи VBulletin [нажмите для просмотра] (имеется ввиду вариант именно с включённой опцией поверхностного шума)
• Проведены доводки системы авторизации
• Запущен "crash-test" для проверки стабильной работы в основных режимах на максимальном количестве потоков, для выявления и устранения возможных конфликтов
• Проход по 17-миллионной "сырой" базе, запущенный в начале месяца для обновления прилагаемых баз, завершён на 70%
• Добавлен механизм выявления ошибочного ввода текстовых капчей, что позволит быстрее пополнять textcaptcha.txt
• Полностью решена проблема в новом алгоритме авторизации, возникающая на некоторых сочетаниях логина/пароля (проблема была в серверной части)
• Выявлена потенциальная причина сбоя, из-за которого счётчик активных потоков уходил в минут
• Ассоциативный список xmessages.txt дополнительно увеличен на 10% (главным образом, в секциях PICTOTRY и LOGIN_FAILED)
• Улучшены алгоритмы обхода Java-защит
• Улучшена обработка форумов phpBB 3
• Внесены коррективы в модуль авторизации (на некоторых ОС, в частности на Win 2008, алгоритм может давать сбой)
• Завершена работа над дополнительными 10-ю распространёнными типами капчей, используемых в блогах и на гостевых книгах, новый модуль подключен к программе и запущен на тест
• Также программа обучена распознаванию удлиннённой капчи UCOZ - она используется на десятках тысяч русскоязычных ресурсов
• Добавлена автоматическая проверка синтаксиса в xmessages.txt и других ассоциативных файлах
• Проанализированы возможные причины проблем с системой самообучения; добавлен отладочный код

Hrefer 3.3

• Внесены поправки в работе с прокси, в т.ч. с прокси, требующими авторизацию
• Расширены возможности инструмента сортировки по Google Page Rank
• Обновлён engines.ini - парсинг Google Mobile

SocPlugin 1.6 (Odnoklassniki + VKontakte)

• Обновлён сбор анкет друзей на VKontakte
• Обновлены шаблоны обработки страниц на Odnoklassniki, в соответствии с изменёнными элементами дизайна
• Продолжены работы над повышением распознаваемости капчи VKontakte; достигнут результат распознаваемости образов до 90% при известных позициях, но длительность распознавания отдельного образа слишком велика - производится оптимизация алгоритма
• Продолжены масштабные обновления алгоритма в соответствии с изменениями в интерфейсе VKontakte
• Улучшены алгоритмы фильтрации баз анкет, определения параметров анкет
• Продолжены работы над повышением распознаваемости капчи VKontakte
• Продолжены работы над повышением распознаваемости капчи VKontakte

Прочее

• Внимание! Ввиду того, что временно недоступна англоязычная версия нашего сайта, обновление прокси/сокс через наши сервера стандартным способом может не работать - как вариант выхода из этой ситуации, можно использовать папку "proxyc/engine.php" на своих доменах (при этом вы можете указать свои списки для сбора списков прокси/сокс

Отчет о разработке XRumer 7.0 Elite за ноябрь

XRumer

• В патче подготовлен новый модуль взаимодействия с плагинами; проведены тесты в условиях недоступности основных серверов
• Продолжены работы над капчами с блогов + дополнительно продолжена работа с форумами и досками
• Внесены коррективы в xmessages.txt и xas.txt
• В патче исправлена критическая погрешность, запущен финальный тест
• Продолжены работы над капчами с блогов
• Внесенны коррективы в ряд инструментов
• В фильтре повторных ссылок добавлена возможность фильтрации зеркал (нередки ситуации, когда десятки абсолютно различных доменов являются зеркалами одного и того же форума, что влечёт за собой лишние действия программы)
• Продолжены работы над капчами с блогов
• Для распознавания ReCaptcha подобраны оптимальные параметры; начата работа над отдельной защитой данного модуля от копирования сторонними разработчиками; дальнейшие результаты работ над модулем распознавания ReCaptcha публично не афишируются
• Подключен модуль для DLL
• Продолжены работы над капчами с блогов и над ReCaptcha; запущен процесс автоподбора оптимальных параметров
• Подключен дополнительный модуль для обхода Java-защит
• Внесены поправки в обработке текстовых защит
• Поправлены погрешности в интерфейсе
• Продолжены работы над капчами с блогов и над ReCaptcha (получены первые приемлемые результаты)
• Скорректированы погрешности в патче, запущен тест на стабильность
• Продолжены работы над капчами с блогов и над ReCaptcha; в список ToDo добавлено дополнительно 2 новых типа капчи, используемых в блогах
• Доработан модуль упрощённого редактирования и проверки синтаксиса xmessages.txt и других файлов логики хрумера
• Исправлены несколько погрешностей в алгоритме генерации отчётов
• Продолжены работы над капчами с блогов и над ReCaptcha
• Создан модуль упрощённого редактирования и проверки синтаксиса xmessages.txt и других файлов логики хрумера
• Скорректирована работа с движком Drupal
• Продолжены работы над капчами с блогов и над ReCaptcha; реализована возможность многопоточного распознавания капчи
• Оптимизирован инструмент приведения ссылок к индексу, логика инструмента вынесена во внешний текстовый файл
• XRumer обучен дополнительно 3-м новым движкам блогов
• Скорректирован алгоритм фильтрации дублей, также внесены поправки в общую логику обработки ссылок
• Подготовлена доп.функция для патча
• Продолжены работы над капчами с блогов и над ReCaptha
• Поправлена обработка нестандартных графических и текстовых защит
• Продолжены работы над капчами с блогов и над ReCaptha
• Реализована поддержка пользовательских модификаций
• Продолжены работы над капчами с блогов и над ReCaptha
• Написано ТЗ и профинансированы работы для спец.модуля для взаимодействия с внешними DLL, расширения возможностей SDK и поддержки многоядерных систем
• Написано ТЗ и профинансированы работы над вспомогательной программой для тестирования пробиваемости
• Продолжены работы над капчами с блогов и над ReCaptha
• Усовершенствован инструмент для тестирования внешних DLL-файлов для распознавания капчи - TestDLL (более подробная статистика, анализ средней скорости распознавания, проверка "испорченных" DLL, анализ возможных утечек памяти), что существенно ускорит процесс разработки модулей распознавания; обновлённый файл включён в бесплатный SDK 1.3, и может использоваться также сторонними разработчиками
• Продолжены работы над ReCaptcha и капчами, используемыми в блогах
• Сделан ряд мелких поправок и улучшений XRumer-а

Hrefer

• Внесены исправления в компоненты интерфейса
• Поправлен парсинг BoardReader
• Оптимизирована процедура фильтрации по блек-листу (xblack.txt), её работа ускорена в сотни раз, благодаря чему теперь подключение объёмных блек-листов не затормаживает процесс парсинга
• Поправлен парсинг Yahoo и Yandex
• Обновлён xblack.txt (блек-лист)
• Исправлен парсинг Yahoo (с опциями "link:", "linkdomain:", "site:")
• Внесены мелкие поправки в интерфейсе
• Программа отправлена на финальное тестирование
• Внесены коррективы в соответствии с результатами тестирования
• "Domains mask" удалён из интерфейса опций, т.к. теперь данные маски можно задать через Sieve-Filter, см. выше - однако возможность фильтрации по доменным маскам сохранена, через редактирование xdomains.txt
• Возвращена возможность "Browse" по двойному клику в таблице потоков
• Усовершенствован мониторинг загрузки
• Исправлена ошибка "I/O Error 105"
• Скорректирована работа проксичекера - исправлена фильтрация дублей
• Реализовано логирование отчёта проверки прокси/сокс, благодаря данному отчёту возможно отбирать только те ресурсы, на которых высокое процентное содержание рабочих прокси/сокс
• Поправлена работа с редактированием Additive Words
• Скорректировано действие кнопки "Clear"
• Версия 3.2 закачана на сайт
• Создана возможность сохранения и очистки списков прокси/сокс по блек-листу
• Поправлена работа с Yahoo
• Дополнительные настройки проверки прокси вынесены в интерфейс
• Поправлена работа с Rambler-ом
• Добавлен инструмент мониторинга статистики по поисковым системам, для оптимизации процесса парсинга
• Продокументирован файл MakeToIndex.ini
• Обновлён googlehost.txt
• Скорректирована обработка Google Mobile, Board Reader
• Скорректирован мониторинг проверки прокси
• Выявлена погрешность, возникающая при очень частом запуске проверки прокси/сокс; запущен отладочный тест для устранения данной погрешности
• Добавлена возможность в Additive Words автоматического варьирования по доменным зонам (для Google, через "site:..."), а также добавления чисел в качестве вариаторов
• Исправлена ещё одна небольшая погрешность в мониторинге проверки прокси/сокс
• Список доменных зон для авто-варьирования вынесен во внешний файл, произведена фильтрация доменных зон, которые в 99% случаев дают нулевой результат
• Ряд инструкция для данной версии отправлен на перевод для англоязычной аудитории
• Проведён спец.тест отдельным инструментом, благодаря которому выявлены и скорректированы погрешности в MakeToIndex.ini
• Дополнены справочные материалы

SocPlugin 1.6 (Odnoklassniki + VKontakte)

• Добавлена возможность автодобавления в поклонники на VKontakte
• Внесены исправления в работе с Odnoklassniki
• Оптимизирован ряд процедур
• Проведены всесторонние тесты работы с Odnoklassniki, выявлен и частично исправлен ряд погрешностей
• Добавлена возможность подробного мониторинга исходящих/входящих пакетов (для отладки и др. вспомогательных целей), соответствующая опция добавлена в опции интерфейса
• Повышена вероятность успешного приглашения в группы на VKontakte
• Добавлена защита от превышения лимитов при инвайтинге в группы
• Реализован автовыбор групп через шедулер
• Скорректировано определение количества фотографий в анетах на VKontakte
• В этот и предыдущие 3е суток проведены работы над коррекцией алгоритма распознавания капчи VKontakte (сама капча не изменилась, но немного изменился метод зашумления, что значительно ухудшило распознаваемость)
• Благодаря анализу конкурирующего софта, в сотни раз ускорена рассылка персональных сообщений на VKontakte
• Доработан инструмент проведения статистики по собранным анкетам
• Скачан тестовый пакет капчи VKontakte (она была немного видоизменена) и запущено обучение с автокорректировкой
• Добавлен инструмент проведения статистики по собранным анкетам для более эффективного таргетинга
• скорректирована работа фильтра анкет: если анкета не существует/заблокирована, то априори помечается на удаление
• Внесены коррективы в соответствии с новой защитой на VKontakte
• Проведено масштабное тестирование работы с соц.сетью Odnoklassniki
• Внесены поправки в работу шедулера
• Приобретён конкурирующий софт для анализа и использования некоторых методик, ускоряющих работу с соц.сетями
• Также подготовлены справочные материалы
• Проведены работы над коррекцией алгоритма распознавания капчи VKontakte
• Исправлено автоприглашение в группы на Odnoklassniki
• Поправлена общая логика работы с группами на Odnoklassniki

Прочее

• Проведены подготовительные работы на серверах авторизации
• Результатом работы последних 3-х дней стало полное обновление источников HTTP-прокси и SOCKS (было проанализировано более 20 тысяч ресурсов), в результате чего количество анонимных прокси и сокс увеличено в разы, при прежней скорости проверки; обновлённые списки доступны для скачивания
• Продолжены работы над капчами с блогов и над ReCaptcha
• Проведены работы над внутренними функциями основного сервера, результат продублирован на резервных серверах
• Подготовлен новый сервер для тех.поддержки, повышена безопасность

Отчет о разработке XRumer 7.0 Elite за октябрь

XRumer

• Продолжено тестирование патча , внесён ряд корректив в алгоритм авторизации, подключены резервные сервера
• К XRumer 7.0 подключены новые модули распознавания текстовой и графической капчи
• Для XRumer 7.0 разработан новый алгоритм постинга, поднимающий пробиваемость на 20-30%, который анализирует права аккаунта после регистрации, и в случае запрета на создание нового топика, пытается ответить в уже существующий максимально подходящий по нужной тематике
• Реализована поддержка двойных кавычек для макроса #file_links, это же касается и всех остальных модулей программы, включая плагины
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Продолжено тестирование патча (5-й день из 5-ти), выявлены и устранены причины возникновения ошибки "Access violation" в некоторых ситуациях
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Устранены погрешности, которые могли потенциально вызвать нестабильную работу; проведена проверка работ в нестандартных режимах постинга
• Продолжены работы над алгоритмом распознавания ReCaptcha; в результате длительного подбора параметров, отобраны наиболее оптимальные параметры для распознавания
• Подготовлена серверная часть авторизации
• Проведен ряд поправок в логике обработки строк и ссылок
• Продолжены работы над патчем, ориентированном на новую систему авторизации
• Исправлена логика скачивания и обработки ReCaptcha, в т.ч. путём корректировки txt-файла это исправлено в патче для версии 5.0.12
• Подключен и протестирован модуль распознавания 8-ми новых типов графической капчи
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Исправлена ошибка "Access violation" на одном из типов графической защиты
• Оптимизирована обработка отчётов (теперь при запуск с большими файлами отчётов происходит так же быстро, как и при их отсутствии)
• Исправлены погрешности в обработке некоторых нестандартных форм
• Доработана обработка Java-редиректов
• Доработан алгоритм шифрования в доп.модуле авторизации
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Оптимизирован инструмент приведения ссылок к индексу, логика вынесена в текстовый файл; то же самое касается Hrefer-а
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Сформирован частичный отчёт по новым типам графических защит, которые способен распознавать XRumer 7.0 - скачать можно по ссылке: http://www.botmasterru.com/free/XRumer7_captchas_report.PDF; данный отчёт НЕ включает защиты стандартных форумов phpBB, VBulletin, IPB, над которыми также были проведены работы, а также пока не включает как минимум 10 типов графических защит, используемых в популярных блогах; отчёт создан с целью предоставить предварительную информацию для сбора новых баз по XRumer 7.0 (признаки phpBB, VBulletin и IPB и так общеизвестны)
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Существенно улучшен инструмент для тестирования и обучения новым типам капчи, что ускорит будущий прогресс в этом направлении улучшения XRumer
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Исправлена обработка форм некоторых типов блогов и досок
• Произведено тестирование рассылки по новым типам блогов
• Программа обучена 2-м новым типам графической капчи
• Подключены дополнительные работники для выявления наиболее распространённых типов капчи
• Скорректирован модуль авторизации
• Готов отчёт по дополнительным 10-ти распространённым типам капчи, используемых на блогах, просмотреть отчёт можно по ссылке: BlogsCaptchas.10.2010.rar, начата работа над их распознаванием
• К базе распознавания текстовых защит (файл textcaptcha.txt) добавлено более 2000 тысяч новых записей, итого программа способна корректно отвечать более чем на 4000 защитных вопросов (текстовых капчей), т.е. увеличение примерно в 2 раза; добавленные строки собирались в течение полугода, итоговое количество строк в файле = 9516
• Также более, чем в 5 раз увеличен вспомогательный файл textcaptcha_adv.txt - добавлены новые формулировки, на различных языках
• Запущено тестирование по спец.базе с использованием данных файлов для выявления возможных погрешностей и их устранения

Hrefer

• Для парсинга Google добавлена возможность сортировки выдачи по временнОму показателю - "Past day", "Past week" и т.п.
• Внесены поправки в обработке файлов-списков прокси/сокс
• Добавлена поддержка сложных масок вида [...]кусок1[...]кусок2[...] для Sieve-Filter
• Исправлена погрешность в редактировании списка Sieve-Filter
• Исправлен возможный "Range check error" в функции обработки полученных строк
• Добавлена возможность использования двухуровневых доменных зон (типа ".co.il" и т.п.) в поле "Domain / site"
• Исправлена погрешность, которая могла вызывать ошибку "нет доступа к файлу xdomains.txt"
• Удалены необязательные операции, которые могли затормаживать работу
• Добавлена защита от ошибки "Range check error", которая могла возникать при смене базы Words
• Проведено масштабное тестирование нового метода приведения ссылок к индексу
• Добавлена возможность ручной принудительной смены прокси и юзер агента для выбранного потока
• Правила по приведению ссылок к индексу теперь хранятся во внешнем текстовом файле - MakeToIndex.ini
• Увеличен макс.размер Additive Words и Sieve-Filter
• Макс.возможное количество собираемых ссылок увеличено до 100 миллионов, также увеличен лимит на хранение базы Words
• Реализовано сохранение отладочной информации для проксичекера, лог сохраняется в \Debug\ProxyReport.txt
• Значительно оптимизирована работа с массивами данных, с памятью
• Метод сбора и проверки прокси разделён на 3 режима: проверка рабочих + на анонимность, проверка только рабочих, и просто сбор без проверки
• Добавлена поддержка в xblack.txt масок типа *.domain.com
• Добавлена поддержка исключающих масок для Sieve-Filter, они имеют вид "-кусок_ссылки"
• Добавлена опция выбора метода фильтрации дублей - как по домену, так и по всей ссылке
• Устранена причина, по которой потенциально могло сбрасиваться количество рабочих прокси до нуля (но это ещё необходимо проверить)
• Исправлено логирование в папку Debug для специфических запросов парсинга
• Поправлен мониторинг проверки прокси/SOCKS
• Улучшен парсинг Google для запросов типа "intext:..."
• Программа протестирована и закачана в клиентскую панель
• Снят лимит на сбор в 10.000 прокси/SOCKS
• Исправлена возможность отключения логирования бонусных фрихостингов
• Добавлена возможность парсига Blogs.Yandex
• Макс. количество потоков увеличено с 500 до 1000 (однако ставить максимум не рекомендуется)
• Улучшена работа со списком забаненных прокси
• Значительно оптимизированы несколько функций по обработке строк, благодаря чему нагрузка на процессор дополнительно снижена

SocPlugin 1.6 (Odnoklassniki + VKontakte)

• Добавлена возможность просмотра отчётности напрямую из программы
• Сгенерирован полный список ID всех городов мира на VKontakte - этот список содержится в файле VKCityListFull.txt
• Внесены коррективы в алгоритм автозаполнения анкет на VKontakte
• Добавлены дополнительные предупреждающие сообщения-инструкции
• Улучшен фильтр пользователей - при повторной проверке анкет не производится заход в анкету, если необходимая информация об анкете уже имеется
• Исправлена рассылка по стенам на VKontakte в соответствии с новой концепцией микроблогов
• Дополнительно повышена вероятность успешной отправки на стену
• Оптимизирован пост-процессинг
• Исправлены погрешности в работе через прокси/SOCKS
• Улучшена обработка исключений
• Внесён ряд поправок в соответствии с изменениями в интерфейсе VKontakte и Odnoklassniki
• Расширена база стран для VKontakte (файл VKCountryList.txt)
• Опции обхода защит вынесены в главное меню
• Добавлено предупреждение для новичков, касательно вариаций и макросов
• Доработана обработка ошибок на VKontakte
• Внесены поправки в функцию сбора друзей, и просмотра списка друзей
• Реализован более глубокий парсинг по параметрам на ВКонтакте, если указано только имя (без фамилии), либо вообще не указаны ни имя, ни фамилия
• Модуль для аплоада видео-контента на ВКонтакте доработан также и для аплоада фотографий
• Внесены мелкие поправки в интерфейсе
• Внесены доработки в фильтр анкет
• Модуль для аплоада видео-контента для ВКонтакте подключен и протестирован
• Оформлен интерфейс многопоточного режима
• Увеличена "глубина" сбора анкет по параметрам в Одноклассниках
• Принят на тестирование модуль для аплоада видео-контента для ВКонтакте (используется новый модуль, который совместим с Windows версии не ниже Win 98, надеемся никто более ранние версии уже не использует)

Прочее

• Настроен новый сервер для размещения форума тех.поддержки
• Произведён переезд в новый офис
• Проведены масштабные работы по восстановлению работы основного сервера и резервных
• Подключено 2 дополнительных резервных сервера, и 1 сервер контроля
• Повышена общая безопасность системы: добавлены накопители в RAID-массив, настроено более частое резервное копирование
• Формат хранения базы пользователей изменён - повышена надёжность шифрования, распределённого хранения