main.go

package main

import (
	"context"
	"encoding/json"
	"flag"
	"fmt"
	"log"
	"os"
	"os/signal"
	"strconv"
	"syscall"
	"time"

	"github.com/chromedp/chromedp"
)

type Order struct {
	Title string `json:"title"`
	Price string `json:"price"`
	URL   string `json:"url"`
}

func main() {
	categoryID := flag.Int("c", 11, "ID категории (по умолчанию 11 - Разработка и IT)")
	maxLimit := flag.Int("limit", 0, "Максимальное количество страниц для парсинга (0 - парсить все)")
	showUI := flag.Bool("ui", false, "Показать окно браузера")
	flag.Parse()

	opts := append(chromedp.DefaultExecAllocatorOptions[:],
		chromedp.Flag("headless", !*showUI),
		chromedp.Flag("disable-blink-features", "AutomationControlled"),
		chromedp.UserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"),
	)

	allocCtx, cancelAlloc := chromedp.NewExecAllocator(context.Background(), opts...)
	defer cancelAlloc()

	ctx, cancelCtx := chromedp.NewContext(allocCtx)
	defer cancelCtx()

	sigChan := make(chan os.Signal, 1)
	signal.Notify(sigChan, os.Interrupt, syscall.SIGTERM)
	go func() {
		<-sigChan
		fmt.Println("\n[!] Получен сигнал прерывания. Останавливаю сбор и сохраняю данные...")
		cancelCtx()
	}()

	ctx, cancelTimeout := context.WithTimeout(ctx, 30*time.Minute)
	defer cancelTimeout()

	var allOrders []Order
	baseUrl := fmt.Sprintf("https://kwork.ru/projects?c=%d", *categoryID)

	fmt.Println(">>> Запуск парсера... Ищу количество страниц... <<<")

	var lastPage string
	err := chromedp.Run(ctx,
		chromedp.Navigate(baseUrl),
		chromedp.WaitReady(`body`, chromedp.ByQuery),
		chromedp.Evaluate(`
			(() => {
				const items = Array.from(document.querySelectorAll('.pagination__item'));
				if (!items || items.length === 0) return "1";
				const pageNumbers = items
					.map(el => el.innerText.trim())
					.filter(text => /^\d+$/.test(text))
					.map(Number);
				return pageNumbers.length > 0 ? Math.max(...pageNumbers).toString() : "1";
			})()
		`, &lastPage),
	)

	if err != nil {
		log.Fatalf("Ошибка на старте: %v", err)
	}

	maxPages, _ := strconv.Atoi(lastPage)
	if *maxLimit > 0 && *maxLimit < maxPages {
		maxPages = *maxLimit
	}

	fmt.Printf(">>> Найдено страниц: %d. Начинаю сбор... <<<\n", maxPages)

	for page := 1; page <= maxPages; page++ {
		if ctx.Err() != nil {
			break
		}

		url := fmt.Sprintf("%s&page=%d", baseUrl, page)
		var pageOrders []Order

		err := chromedp.Run(ctx,
			chromedp.Navigate(url),
			chromedp.WaitReady(`.want-card`, chromedp.ByQuery),
			chromedp.Evaluate(`
				Array.from(document.querySelectorAll('.want-card')).map(card => {
					const link = card.querySelector('.wants-card__header-title a');
					const price = card.querySelector('.wants-card__price');
					return {
						title: link ? link.innerText.trim() : "---",
						url: link ? link.href : "",
						price: price ? price.innerText.trim() : "---"
					};
				})
			`, &pageOrders),
		)

		if err != nil {
			log.Printf("[!] Ошибка на странице %d: %v", page, err)
			continue
		}

		allOrders = append(allOrders, pageOrders...)
		fmt.Printf("[+] Страница %d/%d собрана (найдено: %d, всего: %d)\n", page, maxPages, len(pageOrders), len(allOrders))

		time.Sleep(1 * time.Second)
	}

	fmt.Printf("\n--- Сбор завершен. Итого заказов: %d ---\n", len(allOrders))

	timestamp := time.Now().Format("2006-01-02_15-04-05")
	filename := fmt.Sprintf("orders_cat%d_%s.json", *categoryID, timestamp)
	saveToJSON(allOrders, filename)
}

func saveToJSON(orders []Order, filename string) {
	if len(orders) == 0 {
		fmt.Println("Нет данных для сохранения.")
		return
	}

	file, err := os.Create(filename)
	if err != nil {
		log.Printf("Не удалось создать файл: %v", err)
		return
	}
	defer file.Close()

	encoder := json.NewEncoder(file)
	encoder.SetIndent("", "  ")
	if err := encoder.Encode(orders); err != nil {
		log.Printf("Ошибка при записи JSON: %v", err)
	} else {
		fmt.Printf("Данные успешно сохранены в: %s\n", filename)
	}
}