找不到營收榜網址?在這
重點:
- 跨國辦法:用國外免費proxy。
- 別忘了偽裝成一般人的瀏覽器headers。
- 瀑布流頁面爬取法,大概就兩種:
- Selenium。
- 用正確的payload碰運氣,怎麼找呢?步驟如下:
- Chrome F12
- Network > XHR
- 下拉網頁看看跑出啥新東西。
- 運氣好的話,最底下的Form Data就是了
- 一次應該只能抓60款APP,爬到第332筆就掛了,有空再研究原因。
- 爬完營收榜第一層後,當然就可以爬出第二層的細部資料。
- 方法:慢慢用Chrome F12的Ctrl+Shift+C (select an element in the page to inspect it)找到想要爬的東東吧。