Play Store各國前300大營收榜爬蟲

腫魔沒人留言?快點下去搶頭香啊!

找不到營收榜網址?在

重點:

  1. 跨國辦法:用國外免費proxy。
  2. 別忘了偽裝成一般人的瀏覽器headers。
  3. 瀑布流頁面爬取法,大概就兩種:
    1. Selenium。
    2. 用正確的payload碰運氣,怎麼找呢?步驟如下:
      1. Chrome F12
      2. Network > XHR
      3. 下拉網頁看看跑出啥新東西。
      4. 運氣好的話,最底下的Form Data就是了
  4. 一次應該只能抓60款APP,爬到第332筆就掛了,有空再研究原因。
  5. 爬完營收榜第一層後,當然就可以爬出第二層的細部資料。
    • 方法:慢慢用Chrome F12的Ctrl+Shift+C (select an element in the page to inspect it)找到想要爬的東東吧。
0 0 vote
Article Rating
訂閱(Subscribe)
來自於(Notify of)
0 Comments
Inline Feedbacks
View all comments