Как распарсить 2гис? Частенько нужны дефицитные товары, запарился обзванивать.

laudator.ru›businessguides/samyj-xodovoj-tovar-v-…
Система формирования максимальных цен, существующая в стране, превращает торговлю этим товаром, если не в убыточную, то малодоходную. Поэтому смотреть нужно не на массовость продаж, а на доходность.

У гиса есть api, где есть все что нужно http://api.2gis.ru/doc/firms/searches/search/ . Если это не тот путь и охото гемороя, то отладчике есть все запросы и даже ключи api.
Если не лень: подгружать эту информацию на странице, искать нужный запрос в отладчике, копировать ответ (json), удалять callback (функцию, в которую он обрамлен) и потом уже парсить json любым удобным способом.
Думаю с json проблем не должно возникнуть. (Практически в любом языке есть для этого библиотека: передаем json, на выходе обычный массив)
Ах да, если в curl передать все те заголовки, которые гугл хром передает при ajax запросе, то он получит тот же json, только упакованый в gzip.
Например -
curl "http://catalog.api.2gis.ru/rubricator?show_children=1&project_id=32&output=jsonp&key=ruokep8523&version=1.3&lang=ru&callback=DG.Online.Utils.Ajax.callback.dga_3" -H "Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.3" -H "Accept-Encoding: gzip,deflate,sdch" -H "Host: catalog.api.2gis.ru" -H "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4" -H "User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.63 Safari/537.31" -H "Accept: */*" -H "Referer: http://maps.2gis.ru/" -H "Cookie: 2gisAPI=65b6f54b279d076804ffd1e35459e0195978827451 9a07fe3cec96.18055; lang=ru; uvts=20pZ5w0GG3KakIl; __utma=64270060.1953122099.1367517827.1367517827.1 369049085.2; __utmb=64270060.18.9.1369049344091; __utmc=64270060; __utmz=64270060.1367517827.1.1.utmcsr=google|utmcc n=(organic)|utmcmd=organic|utmctr=(not%20provided) " -H "Connection: keep-alive"

Я периодически заказываю у одного умельца. Его почта grab2gis@gmail.com. Берёт недорого, иногда даже бесплатно скидывает, если постоянно у него берешь что-то

У гиса есть api, где есть все что нужно http://api.2gis.ru/doc/firms/searches/search/ . Если это не тот путь и охото гемороя, то отладчике есть все запросы и даже ключи api.Если не лень: подгружать эту информацию на странице, искать нужный запрос в отладчике, копировать ответ (json), удалять callback (функцию, в которую он обрамлен) и потом уже парсить json любым удобным способом. Думаю с json проблем не должно возникнуть. (Практически в любом языке есть для этого библиотека: передаем json, на выходе обычный массив) Ах да, если в curl передать все те заголовки, которые гугл хром передает при ajax запросе, то он получит тот же json, только упакованый в gzip.Например - curl "http://catalog.api.2gis.ru/rubricator?show_children=1&project_id=32&output=jsonp&key=ruokep8523&version=1.3&lang=ru&callback=DG.Online.Utils.Ajax.callback.dga_3" -H "Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.3" -H "Accept-Encoding: gzip,deflate,sdch" -H "Host: catalog.api.2gis.ru" -H "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4" -H "User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.63 Safari/537.31" -H "Accept: */*" -H "Referer: http://maps.2gis.ru/" -H "Cookie: 2gisAPI=65b6f54b279d076804ffd1e35459e0195978827451 9a07fe3cec96.18055; lang=ru; uvts=20pZ5w0GG3KakIl; __utma=64270060.1953122099.1367517827.1367517827.1 369049085.2; __utmb=64270060.18.9.1369049344091; __utmc=64270060; __utmz=64270060.1367517827.1.1.utmcsr=google|utmcc n=(organic)|utmcmd=organic|utmctr=(not%20provided) " -H "Connection: keep-alive"laudator.ru›businessguides/samyj-xodovoj-tovar-v-…Система формирования максимальных цен, существующая в стране, превращает торговлю этим товаром, если не в убыточную, то малодоходную. Поэтому смотреть нужно не на массовость продаж, а на доходность. http://www.highload.ru/2013/abstracts/934.html

У гиса есть api, где есть все что нужно http://api.2gis.ru/doc/firms/searches/search/ . Если это не тот путь и охото гемороя, то отладчике есть все запросы и даже ключи api.Если не лень: подгружать эту информацию на странице, искать нужный запрос в отладчике, копировать ответ (json), удалять callback (функцию, в которую он обрамлен) и потом уже парсить json любым удобным способом. Думаю с json проблем не должно возникнуть. (Практически в любом языке есть для этого библиотека: передаем json, на выходе обычный массив) Ах да, если в curl передать все те заголовки, которые гугл хром передает при ajax запросе, то он получит тот же json, только упакованый в gzip.Например - curl "http://catalog.api.2gis.ru/rubricator?show_children=1&project_id=32&output=jsonp&key=ruokep8523&version=1.3&lang=ru&callback=DG.Online.Utils.Ajax.callback.dga_3" -H "Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.3" -H "Accept-Encoding: gzip,deflate,sdch" -H "Host: catalog.api.2gis.ru" -H "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4" -H "User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.63 Safari/537.31" -H "Accept: */*" -H "Referer: http://maps.2gis.ru/" -H "Cookie: 2gisAPI=65b6f54b279d076804ffd1e35459e0195978827451 9a07fe3cec96.18055; lang=ru; uvts=20pZ5w0GG3KakIl; __utma=64270060.1953122099.1367517827.1367517827.1 369049085.2; __utmb=64270060.18.9.1369049344091; __utmc=64270060; __utmz=64270060.1367517827.1.1.utmcsr=google|utmcc n=(organic)|utmcmd=organic|utmctr=(not%20provided) " -H "Connection: keep-alive"
laudator.ru›businessguides/samyj-xodovoj-tovar-v-…Система формирования максимальных цен, существующая в стране, превращает торговлю этим товаром, если не в убыточную, то малодоходную. Поэтому смотреть нужно не на массовость продаж, а на доходность.

http://www.highload.ru/2013/abstracts/934.html