Отчет о разработке XRumer 7.0 Elite за октябрь

XRumer

• Продолжено тестирование патча , внесён ряд корректив в алгоритм авторизации, подключены резервные сервера
• К XRumer 7.0 подключены новые модули распознавания текстовой и графической капчи
• Для XRumer 7.0 разработан новый алгоритм постинга, поднимающий пробиваемость на 20-30%, который анализирует права аккаунта после регистрации, и в случае запрета на создание нового топика, пытается ответить в уже существующий максимально подходящий по нужной тематике
• Реализована поддержка двойных кавычек для макроса #file_links, это же касается и всех остальных модулей программы, включая плагины
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Продолжено тестирование патча (5-й день из 5-ти), выявлены и устранены причины возникновения ошибки "Access violation" в некоторых ситуациях
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Устранены погрешности, которые могли потенциально вызвать нестабильную работу; проведена проверка работ в нестандартных режимах постинга
• Продолжены работы над алгоритмом распознавания ReCaptcha; в результате длительного подбора параметров, отобраны наиболее оптимальные параметры для распознавания
• Подготовлена серверная часть авторизации
• Проведен ряд поправок в логике обработки строк и ссылок
• Продолжены работы над патчем, ориентированном на новую систему авторизации
• Исправлена логика скачивания и обработки ReCaptcha, в т.ч. путём корректировки txt-файла это исправлено в патче для версии 5.0.12
• Подключен и протестирован модуль распознавания 8-ми новых типов графической капчи
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Исправлена ошибка "Access violation" на одном из типов графической защиты
• Оптимизирована обработка отчётов (теперь при запуск с большими файлами отчётов происходит так же быстро, как и при их отсутствии)
• Исправлены погрешности в обработке некоторых нестандартных форм
• Доработана обработка Java-редиректов
• Доработан алгоритм шифрования в доп.модуле авторизации
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Оптимизирован инструмент приведения ссылок к индексу, логика вынесена в текстовый файл; то же самое касается Hrefer-а
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Сформирован частичный отчёт по новым типам графических защит, которые способен распознавать XRumer 7.0 - скачать можно по ссылке: http://www.botmasterru.com/free/XRumer7_captchas_report.PDF; данный отчёт НЕ включает защиты стандартных форумов phpBB, VBulletin, IPB, над которыми также были проведены работы, а также пока не включает как минимум 10 типов графических защит, используемых в популярных блогах; отчёт создан с целью предоставить предварительную информацию для сбора новых баз по XRumer 7.0 (признаки phpBB, VBulletin и IPB и так общеизвестны)
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Существенно улучшен инструмент для тестирования и обучения новым типам капчи, что ускорит будущий прогресс в этом направлении улучшения XRumer
• Продолжены работы над алгоритмом распознавания ReCaptcha
• Исправлена обработка форм некоторых типов блогов и досок
• Произведено тестирование рассылки по новым типам блогов
• Программа обучена 2-м новым типам графической капчи
• Подключены дополнительные работники для выявления наиболее распространённых типов капчи
• Скорректирован модуль авторизации
• Готов отчёт по дополнительным 10-ти распространённым типам капчи, используемых на блогах, просмотреть отчёт можно по ссылке: BlogsCaptchas.10.2010.rar, начата работа над их распознаванием
• К базе распознавания текстовых защит (файл textcaptcha.txt) добавлено более 2000 тысяч новых записей, итого программа способна корректно отвечать более чем на 4000 защитных вопросов (текстовых капчей), т.е. увеличение примерно в 2 раза; добавленные строки собирались в течение полугода, итоговое количество строк в файле = 9516
• Также более, чем в 5 раз увеличен вспомогательный файл textcaptcha_adv.txt - добавлены новые формулировки, на различных языках
• Запущено тестирование по спец.базе с использованием данных файлов для выявления возможных погрешностей и их устранения

Hrefer

• Для парсинга Google добавлена возможность сортировки выдачи по временнОму показателю - "Past day", "Past week" и т.п.
• Внесены поправки в обработке файлов-списков прокси/сокс
• Добавлена поддержка сложных масок вида [...]кусок1[...]кусок2[...] для Sieve-Filter
• Исправлена погрешность в редактировании списка Sieve-Filter
• Исправлен возможный "Range check error" в функции обработки полученных строк
• Добавлена возможность использования двухуровневых доменных зон (типа ".co.il" и т.п.) в поле "Domain / site"
• Исправлена погрешность, которая могла вызывать ошибку "нет доступа к файлу xdomains.txt"
• Удалены необязательные операции, которые могли затормаживать работу
• Добавлена защита от ошибки "Range check error", которая могла возникать при смене базы Words
• Проведено масштабное тестирование нового метода приведения ссылок к индексу
• Добавлена возможность ручной принудительной смены прокси и юзер агента для выбранного потока
• Правила по приведению ссылок к индексу теперь хранятся во внешнем текстовом файле - MakeToIndex.ini
• Увеличен макс.размер Additive Words и Sieve-Filter
• Макс.возможное количество собираемых ссылок увеличено до 100 миллионов, также увеличен лимит на хранение базы Words
• Реализовано сохранение отладочной информации для проксичекера, лог сохраняется в \Debug\ProxyReport.txt
• Значительно оптимизирована работа с массивами данных, с памятью
• Метод сбора и проверки прокси разделён на 3 режима: проверка рабочих + на анонимность, проверка только рабочих, и просто сбор без проверки
• Добавлена поддержка в xblack.txt масок типа *.domain.com
• Добавлена поддержка исключающих масок для Sieve-Filter, они имеют вид "-кусок_ссылки"
• Добавлена опция выбора метода фильтрации дублей - как по домену, так и по всей ссылке
• Устранена причина, по которой потенциально могло сбрасиваться количество рабочих прокси до нуля (но это ещё необходимо проверить)
• Исправлено логирование в папку Debug для специфических запросов парсинга
• Поправлен мониторинг проверки прокси/SOCKS
• Улучшен парсинг Google для запросов типа "intext:..."
• Программа протестирована и закачана в клиентскую панель
• Снят лимит на сбор в 10.000 прокси/SOCKS
• Исправлена возможность отключения логирования бонусных фрихостингов
• Добавлена возможность парсига Blogs.Yandex
• Макс. количество потоков увеличено с 500 до 1000 (однако ставить максимум не рекомендуется)
• Улучшена работа со списком забаненных прокси
• Значительно оптимизированы несколько функций по обработке строк, благодаря чему нагрузка на процессор дополнительно снижена

SocPlugin 1.6 (Odnoklassniki + VKontakte)

• Добавлена возможность просмотра отчётности напрямую из программы
• Сгенерирован полный список ID всех городов мира на VKontakte - этот список содержится в файле VKCityListFull.txt
• Внесены коррективы в алгоритм автозаполнения анкет на VKontakte
• Добавлены дополнительные предупреждающие сообщения-инструкции
• Улучшен фильтр пользователей - при повторной проверке анкет не производится заход в анкету, если необходимая информация об анкете уже имеется
• Исправлена рассылка по стенам на VKontakte в соответствии с новой концепцией микроблогов
• Дополнительно повышена вероятность успешной отправки на стену
• Оптимизирован пост-процессинг
• Исправлены погрешности в работе через прокси/SOCKS
• Улучшена обработка исключений
• Внесён ряд поправок в соответствии с изменениями в интерфейсе VKontakte и Odnoklassniki
• Расширена база стран для VKontakte (файл VKCountryList.txt)
• Опции обхода защит вынесены в главное меню
• Добавлено предупреждение для новичков, касательно вариаций и макросов
• Доработана обработка ошибок на VKontakte
• Внесены поправки в функцию сбора друзей, и просмотра списка друзей
• Реализован более глубокий парсинг по параметрам на ВКонтакте, если указано только имя (без фамилии), либо вообще не указаны ни имя, ни фамилия
• Модуль для аплоада видео-контента на ВКонтакте доработан также и для аплоада фотографий
• Внесены мелкие поправки в интерфейсе
• Внесены доработки в фильтр анкет
• Модуль для аплоада видео-контента для ВКонтакте подключен и протестирован
• Оформлен интерфейс многопоточного режима
• Увеличена "глубина" сбора анкет по параметрам в Одноклассниках
• Принят на тестирование модуль для аплоада видео-контента для ВКонтакте (используется новый модуль, который совместим с Windows версии не ниже Win 98, надеемся никто более ранние версии уже не использует)

Прочее

• Настроен новый сервер для размещения форума тех.поддержки
• Произведён переезд в новый офис
• Проведены масштабные работы по восстановлению работы основного сервера и резервных
• Подключено 2 дополнительных резервных сервера, и 1 сервер контроля
• Повышена общая безопасность системы: добавлены накопители в RAID-массив, настроено более частое резервное копирование
• Формат хранения базы пользователей изменён - повышена надёжность шифрования, распределённого хранения

---

Читайте также: