Cara Mudah Scrape Data Review Produk Shopee Menggunakan Python Dalam 5 Menit

Data dapat diperoleh dari mana saja. Ketika kita ingin menganalisis bagaimana pendapat para pelanggan mengenai kualitas sebuah produk, kita tentu membutuhkan ulasan-ulasan pelanggan mengenai produk tersebut. Dalam artikel ini akan diulas sedikit mengenai bagaimana mendapatkan data ulasan produk dari Shopee menggunakan Python.

Daftar Isi

Tentang Shopee

Shopee merupakan sebuah platform jual beli secara daring (e-commerce) yang didirikan pada tahun 2015 oleh Forrest Li. Shopee memungkinkan seorang pengguna dapat menjual atau membeli produk secara langsung dan dikirimkan oleh ekspedisi tertentu. Kini Shopee tersedia di 12 negara di dunia seperti Indonesia, Malaysia, Filipina, Singapura, Thailand, Vietnam, Taiwan, Brazil, Chile, Kolombia, dan Meksiko. Shopee menyediakan fitur-fitur seperti pembayaran online, chat antara pembeli dan penjual, serta sistem rating untuk penjual bahkan saat ini sudah merambah fitur baru seperti ShopeeFood yang fokus di bidang F&B.

Shopee memiliki sistem review yang berupa rating dan komentar untuk penjual yang tertera di setiap produk. Sistem review dalam hal ini memungkinkan pembeli untuk memberikan penilaian atas produk dan layanan yang diterima dari penjual setelah transaksi diselesaikan oleh pembeli. Penilaian ini dapat berupa bintang atau skor yang diberikan oleh pembeli dan ulasan mengenai produk yang diterima yang selanjutnya dapat digunakan oleh pembeli lain untuk memudahkan dalam membuat keputusan dalam melakukan transaksi terhadap produk tersebut.

Bagaimana Memanfaatkan Ulasan Produk Shopee?

Kita dapat menggunakan review Shopee untuk melakukan berbagai macam analisis, diantaranya:

Analisis Sentimen : Kita dapat menganalisis komentar yang diberikan pembeli untuk mengevaluasi tingkat kepuasan pembeli terhadap produk dan layanan yang diterima dari penjual.
Prediksi Penjual Terpercaya : Kita dapat menggunakan review yang diberikan pembeli untuk memprediksi penjual yang dianggap terpercaya.
Segmentasi Penjual : Kita dapat menggunakan review untuk mengelompokkan penjual berdasarkan tingkat kepercayaannya, sehingga dapat dikembangkan strategi pemasaran yang sesuai.
Analisis Produk : Kita dapat menganalisis review produk yang diterima dari pembeli untuk menentukan produk yang paling populer dan produk yang kurang diminati.
Analisis Trend : Kita dapat menganalisis review yang diterima dari pembeli untuk mengetahui trend produk yang sedang populer saat ini.

Secara umum, data review Shopee dapat kita manfaatkan dalam mengevaluasi kinerja penjual dan kualitas produk yang dijual melalui platform ini, serta untuk mengembangkan strategi yang sesuai untuk meningkatkan penjualan. Misalnya, dengan analisis sentimen kita dapat mengetahui kira-kira dalam segi apakah penjual harus memperbaiki kualitas pelayanannya, dan sebagainya.

Bagaimana Cara Scrape Data dari Shopee?

Scraping adalah proses mengambil data dari satu atau lebih halaman web dengan mengumpulkan informasi dari halaman web yang ditentukan secara otomatis dan spesifik, yaitu mengambil informasi yang dibutuhkan ke dalam format yang lebih memudahkan untuk dilakukan proses selanjutnya (analisis).

Kita dapat mengambil data review Shopee dengan menggunakan beberapa cara, diantaranya:

Python menyediakan berbagai library yang dapat kita manfaatkan untuk mengambil data dari Shopee, seperti BeautifulSoup, Scrapy, Selenium, Requests, dan lain-lain.
Shopee saat ini menyediakan API (Application Programming Interface) yang dapat digunakan untuk mengambil data dengan mudah dan cepat tanpa perlu melakukan web scraping dengan tools tertentu. Untuk informasi lebih lanjut kamu dapat mengaksesnya melalui link ini.
Terdapat beberapa situs web yang bisa kita manfaatkan untuk melakukan scraping data seperti import.io, scrapehero, atau webscraper.io.

Setelah data dari Shopee diambil, kita dapat mengekstrak, mengolah, dan menganalisis data tersebut untuk mengevaluasi kinerja penjual dan produk yang dijual melalui platform Shopee, serta untuk mengembangkan strategi yang sesuai untuk meningkatkan penjualan.

Step by Step Scrape Data Shopee

Dalam kasus ini, kita akan menggunakan Python dengan memanfaatkan beberapa library seperti requests dan pandas. Pertama kita harus meng-import library yang dibutuhkan terlebih dahulu.

import re
import requests

import pandas as pd

Library re merupakan singkatan dari regular expressions yang digunakan sebagai pengaturan dalam manipulasi string dalam mencari data Shopee berdasarkan format string tertentu.
Library requests digunakan untuk web scraping
Library pandas untuk memanipulasi data yang telah diperoleh menjadi bentuk tabel.

Selanjutnya simpan tautan produk yang diinginkan ke dalam object url.

url = 'https://shopee.co.id/Premium-Brill-Eighty-eight-Flannel-Shirt-077-i.32031549.1991571675'

Selanjutnya tentukan manipulasi string yang akan dipakai untuk mengambil data. Dalam hal ini akan diambil data berupa user name, rating, dan kometar.

r = re.search(r'i\.(\d+)\.(\d+)', url)

shop_id, item_id = r[1], r[2]

ratings_url = 'https://shopee.co.id/api/v2/item/get_ratings?filter=0&flag=1&itemid={item_id}&limit=20&offset={offset}&shopid={shop_id}&type=0'

Kemudian, scrape data dilakukan dengan menjalankan baris kode berikut:

offset = 0
d = {'username': [], 'rating': [], 'comment': []}

while True:
  data = requests.get(ratings_url.format(shop_id=shop_id, item_id=item_id, offset=offset)).json()
  i = 1
  for i, rating in enumerate(data['data']['ratings'], 1):
    d['username'].append(rating['author_username'])
    d['rating'].append(rating['rating_star'])
    d['comment'].append(rating['comment'])

  # mencetak review yang di-scrape
  print(rating['author_username'])
  print(rating['rating_star'])
  print(rating['comment'])
  print('-' * 80)
  
  # menghentikan perulangan
  if i % 20:
    break

  offset += 20

Proses eksekusi dapat memakan waktu cukup lama tergantung banyak hal, seperti kecepatan prosesor device yang digunakan atau ukuran data yang diambil. Semakin banyak review yang seharusnya diambil, semakin lama pula proses eksekusinya. Setelah itu, diperoleh hasil scraping sebagai berikut:

Data Scraping — Hasil *scraping* dengan Python

Hasil scraping di atas masih berupa dictionary Python, sehingga untuk memudahkan dalam pembacaan dan analisis selanjutnya, dapat dengan mengubahnya ke dalam bentuk data frame atau tabel sebagai berikut:

df = pd.DataFrame(d)

Hasil scraping juga dapat disimpan ke dalam file berformat .csv sebagai berikut:

df.to_csv('data.csv', index=False)

Sehingga diperoleh data review produk Shopee dari hasil scraping melalui Python seperti pada screen shot di bawah.

Hasil *scraping* data *review* produk Shopee

Penutup

Demikian hasil scraping review produk Shopee dengan menggunakan Python. Mudah bukan? Sebenarnya masih terdapat banyak lagi metode dan library yang bisa dimanfaatkan untuk melakukan scraping data dari situs web tertentu. Sampai jumpa di artikel-artikel selanjutnya, ya. Selamat mencoba!

Jika kamu memiliki kesulitan dalam hal analisis atau segala yang berkaitan dengan data, jangan sungkan-sungkan untuk menghubungi Exsight ya! Tim Exsight akan membantumu dengan sigap. Kamu dapat mengakses informasi lebih lengkap melalui link ini. Sampai jumpa!