а как Вы используете cURL? Ну или обёртка на bash.

Тема в разделе "Флудилка", создана пользователем Igor68, 24 фев 2019.

  1. Igor68

    Igor68 Гуру

    Вот имеем на неком устройстве:
    Код (Text):
    curl 7.63.0 (arm-unknown-linux-gnu) libcurl/7.63.0 OpenSSL/1.0.2p
    Release-Date: 2018-12-12
    Protocols: dict file ftp ftps gopher http https imap imaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp
    Features: AsynchDNS IPv6 Largefile NTLM NTLM_WB SSL TLS-SRP UnixSockets HTTPS-proxy
    Ну и скриптовая обёртка:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh help      

    ./testsite.sh help             - текущая подсказка
    ./testsite.sh version          - дата последнего изменения и версия скрипта

    ./testsite.sh setproxy         - настройка доступа черех прокси-сервер
    ./testsite.sh rmproxy          - удаление настроек прокси-сервера
    ./testsite.sh setuseragent     - настройка USER AGENT "названия" "вашего" браузера
    ./testsite.sh rmuseragent      - удаление  USER AGENT "названия" "вашего" браузера
    ./testsite.sh cookieson        - включить cookies (файл cookies.txt создаётся)
    ./testsite.sh cookiesoff       - выключить cookies (файл cookies.txt удаляется)

    ./testsite.sh test             - тест доступа к странице
    ./testsite.sh readconsole      - вывод страницы в консоль
    ./testsite.sh readfile         - вывод страницы в файл
     
    Это обёртка:
    testsite.sh.zip

    Вот можно пощупать по доступу сюда:
    https://whoer.net/ru

    Довольно поучительно. А как сделать доступ через несколько прокси по цепочке?:)
     

    Вложения:

    • testsite.sh.zip
      Размер файла:
      2 КБ
      Просмотров:
      320
  2. Практическое применение нескольких прокси не понятно, для чего используется не один прокси?
    Типа один прокси навязан провайдером или ещё кем то, например требованием безопасности в офисе, а другой прокси для обхода блокировок?
     
  3. Igor68

    Igor68 Гуру

    А один локальный. А надо применение и внешнего.
     
  4. Без внешнего прокси, только с локальным, через который пускают "на улицу", и с внешним vpn-ом, как то получалось обходится без внешнего прокси.
     
  5. Igor68

    Igor68 Гуру

    Вот бывает так, что есть что делать, но... но в тягость - надо собирать на столе. Всякие провода и т.д. и потом всё разбирать. Я про арматурчика.
    И вот:
    nsite5.zip
    просто применяя, что подключено практически постоянно.

    И для чего? Это очередная попытка баловства. Запуск скрипта:

    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh    

    Версия: 01.01.05 Дата: 08.03.2019 скрипта ./testsite.sh
    ./testsite.sh help  - для подсказки

    www-data@Moxa:~/ramdisk$ ./testsite.sh help

    ./testsite.sh help             - текущая подсказка
    ./testsite.sh version          - дата последнего изменения и версия скрипта

    ./testsite.sh setfile          - указать имя рабочего файла для сохранения (index.html)
    ./testsite.sh rmfile           - удалить имя рабочего файла для сохранения
    ./testsite.sh setsite          - зафиксировать URL для повторного теста
    ./testsite.sh rmsite           - удалить URL повторного теста
    ./testsite.sh setproxy         - настройка доступа черех прокси-сервер
    ./testsite.sh rmproxy          - удаление настроек прокси-сервера
    ./testsite.sh setuseragent     - настройка USER AGENT "названия" "вашего" браузера
    ./testsite.sh rmuseragent      - удаление  USER AGENT "названия" "вашего" браузера
    ./testsite.sh cookieson        - включить cookies (файл cookies.txt создаётся)
    ./testsite.sh cookiesoff       - выключить cookies (файл cookies.txt удаляется)

    ./testsite.sh mantest          - ручные тестовые манипуляции
    ./testsite.sh test             - тест доступа к странице
    ./testsite.sh readconsole      - вывод страницы в консоль
    ./testsite.sh readfile         - вывод страницы в файл

    ./testsite.sh hrefcons         - вывод ссылок(href) в консоль - из файла "index.html"

    www-data@Moxa:~/ramdisk$
    вроде как тест. ну что же настраиваем прокси для начала. Он у меня локальный и через него доступ в роутер:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh setproxy      
    Введите параметры доступа через прокси вида:
    {user:password@url:port}: igor:paramon@192.168.1.131:8080
    www-data@Moxa:~/ramdisk$
    потом говорим, кем будет представлен этот curl на сайте, куда хотим:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh setuseragent
    Применить USER AGENT по умолчанию (Mozilla/3.04 (Win95; U)) (y - да): y
    www-data@Moxa:~/ramdisk$
    вот и будем неким браузером: Mozilla/3.04 (Win95; U)
    Ну можно и куки:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh cookieson  
    www-data@Moxa:~/ramdisk$
    ну для порядка, что бы не делать одного и того же укажем файл данных:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh setfile          
    Введите имя файла для сохранения (index.html) : index.html
    www-data@Moxa:~/ramdisk$
    Ну и указать URL страницы:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh setsite
    Введите URL для доступа к сайту вида:
    {url/ip:port}: www.amperka.ru
    www-data@Moxa:~/ramdisk$
    ну просто пробуем:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh test  
    HTTP/1.0 502 Bad Gateway
    Proxy-Connection: close
    Content-type: text/html; charset=utf-8

    HTTP/1.0 502 Bad Gateway
    Proxy-Connection: close
    Content-type: text/html; charset=utf-8

    HTTP/1.1 301 Moved Permanently
    Server: nginx/0.7.65
    Date: Fri, 08 Mar 2019 16:33:53 GMT
    Content-Type: text/html
    Content-Length: 185
    Location: http://amperka.ru/
    Connection: Keep-Alive
    Proxy-Connection: Keep-Alive

    HTTP/1.1 200 OK
    Server: nginx/0.7.65
    Date: Fri, 08 Mar 2019 16:33:54 GMT
    Content-Type: text/html; charset=utf-8
    Content-Length: 112425
    Status: 200 OK
    X-XSS-Protection: 1; mode=block
    X-Cache: hit: server
    ETag: 700f561bf5c78b9eb346a33ae71e9223
    P3P: CP="NOI DSP COR NID ADMa OPTa OUR NOR"
    Cache-Control: no-cache
    Set-Cookie: request_method=HEAD; path=/
    Set-Cookie: first_current_location=%2F; path=/; expires=Sun, 08 Mar 2020 16:33:54 -0000
    Set-Cookie: first_referer=; path=/; expires=Sun, 08 Mar 2020 16:33:54 -0000
    Set-Cookie: referer=; path=/; expires=Sun, 08 Mar 2020 16:33:54 -0000
    Set-Cookie: current_location=%2F; path=/; expires=Sun, 08 Mar 2020 16:33:54 -0000
    X-Request-Id: 2857a02a-5ef8-466b-acd4-4aa5ad231741
    X-Runtime: 0.024299
    Connection: Keep-Alive
    Proxy-Connection: Keep-Alive

    www-data@Moxa:~/ramdisk$
    потом скачиваем страницу:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh readfile
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100   141    0   141    0     0     73      0 --:--:--  0:00:01 --:--:--    74
    100   141    0   141    0     0    324      0 --:--:-- --:--:-- --:--:--   329
    100   185  100   185    0     0    341      0 --:--:-- --:--:-- --:--:--     0
    100  109k  100  109k    0     0  44384      0  0:00:02  0:00:02 --:--:-- 85980
    www-data@Moxa:~/ramdisk$
    далее...
     

    Вложения:

    • nsite5.zip
      Размер файла:
      3,1 КБ
      Просмотров:
      335
  6. Igor68

    Igor68 Гуру

    ...продолжение:
    смотрим все ссылки на станице:
    Код (Text):
    www-data@Moxa:~/ramdisk$ ./testsite.sh hrefcons
    {"money_with_currency_format":{"delimiter":" ","separator":".","format":"%n \u003cspan class=\"currency\"\u003e%u\u003c/span\u003e","unit":"₽","show_price_without_cents":1},"currency_code":"RUR","facebook":{"pixelActive":true,"currency_code":"RUB","use_variants":false},"vk":{"pixel_active":null,"price_list_id":null},"new_ya_metrika":true,"ecommerce_data_container":"dataLayer","common_js_version":"v2","vue_ui_version":null,"account_id":8531,"hide_items_out_of_stock":false,"enable_comparison":true,"locale":"ru","client_group":null,"consent_to_personal_data":{"active":false,"obligatory":true,"description":"Настоящим подтверждаю, что я ознакомлен и согласен с условиями \u003ca href='/page/oferta' target='blank'\u003eоферты и политики конфиденциальности\u003c/a\u003e."},"recaptcha_key":"6Lc0T0YUAAAAAAVNiH-_bnSC4E-YHMFTeYOqZyRx"}
    />
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/apple-touch-icon.png
    image/png
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/favicon-32x32.png
    image/png
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/favicon-16x16.png
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/site.webmanifest
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/safari-pinned-tab.svg
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/favicon.ico
    text/css
    https://assets3.insales.ru/assets/1/1333/1041717/1550802890/bundle.css
    /
    /cart_items
    /collection/kits
    /collection/boards
    /collection/sensors
    /collection/display
    /collection/components
    /collection/proto
    /collection/cables-wires
    /collection/mechanics
    /collection/power-sources
    /collection/tools
    /collection/books
    /collection/enclosures
    /collection/misc
    http://wiki.amperka.ru
    https://youtube.com/AmperkaRu
    http://forum.amperka.ru
    /page/shipping
    /page/payment
    /page/form
    https://www.youtube.com/user/AmperkaRu
    https://www.instagram.com/amperkaru/
    https://vk.com/amperkaru
    https://www.facebook.com/amperka.ru/
    https://twitter.com/amperka
    /page/office
    https://www.youtube.com/watch?v=KZ-EM2GU_VI
    https://www.youtube.com/watch?v=KZ-EM2GU_VI
    /product/arduino-uno
    http://schema.org/InStock
    />
    /product/matryoshka-z
    http://schema.org/InStock
    />
    /product/raspberry-pi-3-model-b-plus
    http://schema.org/InStock
    />
    /product/iskra-neo
    http://schema.org/InStock
    />
    /product/arduino-relay-shield
    http://schema.org/InStock
    />
    /product/troyka-light-sensor
    http://schema.org/InStock
    />
    /product/troyka-imu-10-dof
    http://schema.org/OutOfStock
    />
    /product/yodo
    http://schema.org/InStock
    />
    /product/iskra-js
    http://schema.org/InStock
    />
    https://www.youtube.com/playlist?list=PLfDmj22jP9S7-245ZexZJ5r-HQY_u7I6O
    /collection/new
    /product/troyka-motion-sensor
    http://schema.org/InStock
    />
    /product/troyka-screw-pad
    http://schema.org/InStock
    />
    /product/troyka-encoder
    http://schema.org/InStock
    />
    /product/insulating-tape-black
    http://schema.org/InStock
    />
    /product/iskra-mega
    http://schema.org/InStock
    />
    /product/itead-display-1n8in
    Цветной TFT-дисплей 128×160 / 1,8”, подробная информация
    http://schema.org/InStock
    />
    /product/itead-display-2n8in
    Цветной сенсорный TFT-дисплей 320×240 / 2,8”, подробная информация
    http://schema.org/InStock
    />
    /product/itead-display-3n2in
    Цветной сенсорный TFT-дисплей 320×240 / 3,2”, подробная информация
    http://schema.org/InStock
    />
    /product/itead-adapter-to-display-shield
    http://schema.org/InStock
    />
    /product/arduino-yun-rev-2
    http://schema.org/InStock
    />
    /page/what-is-arduino
    http://arduino-projects.ru
    http://wiki.amperka.ru
    http://forum.amperka.ru
    http://arduino.cc
    http://arduino.cc/en/Main/Software
    http://arduino.cc/en/Reference/HomePage
    http://arduino.cc/playground/
    http://arduino.cc/forum/
    http://arduino.cc/blog/
    /page/form
    https://www.youtube.com/user/AmperkaRu
    https://www.instagram.com/amperkaru/
    https://vk.com/amperkaru
    https://www.facebook.com/amperka.ru/
    https://twitter.com/amperka
    /page/how-to-buy
    http://partners.amperka.ru
    http://teacher.amperka.ru/
    /page/office
    /page/media-kit
    /client_account/login
    /page/service-center
    /page/office
    //www.insales.ru
    www-data@Moxa:~/ramdisk$
    это как метод применения... простой метод. Надо дальше что-то изменить применив и NetCat и socat и др
     
  7. Igor68

    Igor68 Гуру

    Замечаю вновь через несколько месяцев, но уже с proxychains. Да верно. Если дома, в сети wifi из малин, где "ведущая" малина раздаёт этот самый wifi вместе с dhcp вторым USB-WIFI соединена с роутером который с выходом на "улицу". Тут как раз первая строка в /etc/proxychains.conf это для другой малины(ПК) выход на улицу. Ну о стальные строки это проход через... ну к примеру Сингапур и т.п. Видео не смотреть, но запросы делать. А на работе проход на улицу через несколько (2) прокси на улицу. Ну и Сингапур. Это как пример. Фактически не надо. А вот шагать из сети в сеть на работе, когда сети физически разделены. Только один сервер сразу в двух сетях (две сетевые карты). А проход через прокси.
     
    DetSimen нравится это.