Нововведения и улучшения в Hrefer 4.9 — 5.010 октября 2016
Hrefer 5.0
- реализовано автораспознавание актуальных видов капчи Google и Yandex:
- добавлена новая поисковая система для парсинга Search-Results.com
- реализован корректный ресайз главного окна программы
- теперь по умолчанию включены все поисковые системы для парсинга
- опция приведения к индексу теперь по умолчанию включена
- сделаны небольшие поправки в интерфейсе
- устранена проблема "обрезания" полученных ссылок при парсинге Baidu
(если невозможно получить полную ссылку, она обрезается до последнего слэша — включительно, или знака "?" — исключительно) - обновлён механизм обработки капчи
- обновлён engines.ini
Hrefer 4.9
- значительно улучшена работа с HTTPS через SOCKS (рекомендуется использовать элитные, покупные SOCKS 5)
- обновлена логика работы с поисковыми системами:
- Yandex
- Google Classic
- Google Mobile
- BING
- Yahoo
- GoGo
- Blogsearch.Google
- BoardReader
- Rambler
- Baidu
- Mail.Com
- обновлены модули работы с HTTPS
- в engines.ini для параметра Query реализована поддержка вариаций и макросов (см. пример для [Google Mobile])
- реализован обход необходимости обработки Deflate, в частности для поисковой системы BING
- обновлены юзер-агенты
- в опциях задержки добавлен параметр "For no-proxy threads only", позволяющий выдерживать
задержку между страницами только для тех потоков, где не используются прокси:
например, для того чтобы парсить Яндекс и Гугл без прокси но с большими паузами между страницами,
а остальные поисковые системы — через прокси, но без пауз
- скорректирована логика обработки NoAnyResults
- скорректирована логика отображения "probably corrupted" для engines.ini
- обновлён MakeToIndex.ini
- устранён баг безусловного уточнения, следует ли сохранить собранную базу
- исправлено отображение кириллических результатов распознавания капчи,
полученных от внешних сервисов - добавлено спец.предупреждение о необходимости использовать SOCKS для поисковых систем, требующих HTTPS-подключение
- обновлены /proxyc/engines.php и /proxyc/list.txt
Опубликованы важные инструкции по парсеру, рекомендуется прочесть перед использованием.