Вэб хусах (requests + BeautifulSoup)

pip install requests beautifulsoup4

import requests

хариу = requests.get("https://httpbin.org/get")

print(хариу.status_code)   # 200
print(хариу.headers["Content-Type"])
print(хариу.json())        # JSON хариуг dict болгон буцаана

import requests
from bs4 import BeautifulSoup

# HTML татах
хариу = requests.get("https://books.toscrape.com/")
суп = BeautifulSoup(хариу.text, "html.parser")

# Бүх номын гарчгийг олох
номнууд = суп.find_all("article", class_="product_pod")

for ном in номнууд[:5]:
    гарчиг = ном.find("h3").find("a")["title"]
    үнэ = ном.find("p", class_="price_color").text
    print(f"{гарчиг} — {үнэ}")

import requests
from bs4 import BeautifulSoup

хариу = requests.get("https://books.toscrape.com/")
суп = BeautifulSoup(хариу.text, "html.parser")

# CSS selector — jQuery шиг ажилладаг
гарчгууд = суп.select("article.product_pod h3 a")
үнэнүүд   = суп.select("p.price_color")

for гарчиг, үнэ in zip(гарчгууд[:3], үнэнүүд[:3]):
    print(f"{гарчиг['title']} — {үнэ.text.strip()}")

import requests
from bs4 import BeautifulSoup
import time

холбоосууд = [
    "https://books.toscrape.com/catalogue/page-1.html",
    "https://books.toscrape.com/catalogue/page-2.html",
]

for холбоос in холбоосууд:
    try:
        хариу = requests.get(холбоос, timeout=10)
        хариу.raise_for_status()   # 4xx, 5xx алдаанд exception үүсгэнэ
        суп = BeautifulSoup(хариу.text, "html.parser")
        тоо = len(суп.select("article.product_pod"))
        print(f"Олдсон ном: {тоо}")
    except requests.RequestException as алдаа:
        print(f"Алдаа: {алдаа}")
    finally:
        time.sleep(1)   # серверт ачаалал өгөхгүйн тулд хүлээнэ