fix crawler and saver bugs
This commit is contained in:
ismailsosic
197
kivi_cars/cars/saver.py
Normal file
197
kivi_cars/cars/saver.py
Normal file
@@ -0,0 +1,197 @@
|
||||
import time
|
||||
from cars.crawler import CarsCrawler
|
||||
from cars.models import Car
|
||||
|
||||
#if num_of_crawl is 0 --> first start --> crawl all pages
|
||||
#if num_of_crawl is 1 --> second and others --> crawl just 2 pages
|
||||
|
||||
num_of_crawl = 0
|
||||
|
||||
|
||||
|
||||
while True:
|
||||
def Saver():
|
||||
print("_________________________________")
|
||||
global num_of_crawl
|
||||
if num_of_crawl == 0:
|
||||
cars = CarsCrawler(5)
|
||||
num_of_crawl += 1
|
||||
else:
|
||||
cars = CarsCrawler(2)
|
||||
|
||||
# print(len(cars))
|
||||
for car in cars:
|
||||
print(car["Datum"], car["Olx_id"])
|
||||
if Car.objects.all().filter(Olx_id = car["Olx_id"], Datum = car["Datum"]).exists():
|
||||
print("Artikal postoji")
|
||||
continue
|
||||
|
||||
try:
|
||||
auto = Car.objects.get(Olx_id = car["Olx_id"])
|
||||
auto.Kategorija = car["Kategorija"]
|
||||
auto.Cijena = car["Cijena"]
|
||||
auto.Stanje = car["Stanje"]
|
||||
auto.Lokacija_kanton = car["Lokacija_kanton"]
|
||||
auto.Lokacija_grad = car["Lokacija_grad"]
|
||||
auto.Proizvođač = car["Proizvođač"]
|
||||
auto.Model = car["Model"]
|
||||
auto.Godište = car["Godište"]
|
||||
auto.Kilometraža = car["Kilometraža"]
|
||||
auto.Kilovata_KW = car["Kilovata (KW)"]
|
||||
auto.Kubikaža = car["Kubikaža"]
|
||||
auto.Gorivo = car["Gorivo"]
|
||||
auto.Broj_vrata = car["Broj vrata"]
|
||||
auto.Konjskih_snaga = car["Konjskih snaga"]
|
||||
auto.Metalik = car["Metalik"]
|
||||
auto.Masa_Težina_kg = car["Masa/Težina (kg)"]
|
||||
auto.Tip = car["Tip"]
|
||||
auto.Pogon = car["Pogon"]
|
||||
auto.Emisioni_standard = car["Emisioni standard"]
|
||||
auto.Veličina_felgi = car["Veličina felgi"]
|
||||
auto.Transmisija = car["Transmisija"]
|
||||
auto.Broj_stepeni_prijenosa = car["Broj stepeni prijenosa"]
|
||||
auto.Boja = car["Boja"]
|
||||
auto.Muzika_ozvučenje = car["Muzika / ozvučenje"]
|
||||
auto.Parking_senzori = car["Parking senzori"]
|
||||
auto.Parking_kamera = car["Parking kamera"]
|
||||
auto.Registrovan_do = car["Registrovan do"]
|
||||
auto.Godina_prve_registracije = car["Godina prve registracije"]
|
||||
auto.Broj_prethodnih_vlasnika = car["Broj prethodnih vlasnika"]
|
||||
auto.Posjeduje_gume = car["Posjeduje gume"]
|
||||
auto.Višezonska_klima = car["Višezonska klima"]
|
||||
auto.Rolo_zavjese = car["Rolo zavjese"]
|
||||
auto.Svjetla = car["Svjetla"]
|
||||
auto.Zaštita_Blokada = car["Zaštita/Blokada"]
|
||||
auto.Sjedećih_mjesta = car["Sjedećih mjesta"]
|
||||
auto.Turbo = car["Turbo"]
|
||||
auto.DPF_FAP_filter = car["DPF/FAP filter"]
|
||||
auto.Strane_tablice = car["Strane tablice"]
|
||||
auto.Ocarinjen = car["Ocarinjen"]
|
||||
auto.Prilagođen_invalidima = car["Prilagođen invalidima"]
|
||||
auto.Servo_volan = car["Servo volan"]
|
||||
auto.Tempomat = car["Tempomat"]
|
||||
auto.ESP = car["ESP"]
|
||||
auto.El_podizači_stakala = car["El. podizači stakala"]
|
||||
auto.Senzor_mrtvog_ugla = car["Senzor mrtvog ugla"]
|
||||
auto.Digitalna_klima = car["Digitalna klima"]
|
||||
auto.Touch_screen_ekran = car["Touch screen (ekran)"]
|
||||
auto.Panorama_krov = car["Panorama krov"]
|
||||
auto.Koža = car["Koža"]
|
||||
auto.Masaža_sjedišta = car["Masaža sjedišta"]
|
||||
auto.El_pomjeranje_sjedišta= car["El. pomjeranje sjedišta"]
|
||||
auto.Senzor_auto_svjetla = car["Senzor auto. svjetla"]
|
||||
auto.Alarm = car["Alarm"]
|
||||
auto.Daljinsko_otključavanje = car["Daljinsko otključavanje"]
|
||||
auto.Auto_kuka = car["Auto kuka"]
|
||||
auto.Udaren = car["Udaren"]
|
||||
auto.Start_Stop_sistem = car["Start-Stop sistem"]
|
||||
auto.Park_assist = car["Park assist"]
|
||||
auto.Registrovan = car["Registrovan"]
|
||||
auto.Na_lizingu = car["Na lizingu"]
|
||||
auto.Servisna_knjiga = car["Servisna knjiga"]
|
||||
auto.Komande_na_volanu = car["Komande na volanu"]
|
||||
auto.ABS = car["ABS"]
|
||||
auto.Airbag = car["Airbag"]
|
||||
auto.Električni_retrovizori = car["Električni retrovizori"]
|
||||
auto.Klima = car["Klima"]
|
||||
auto.Navigacija = car["Navigacija"]
|
||||
auto.Šiber = car["Šiber"]
|
||||
auto.Naslon_za_ruku= car["Naslon za ruku"]
|
||||
auto.Hlađenje_sjedišta = car["Hlađenje sjedišta"]
|
||||
auto.Grijanje_sjedišta = car["Grijanje sjedišta"]
|
||||
auto.Memorija_sjedišta = car["Memorija sjedišta"]
|
||||
auto.Alu_felge = car["Alu felge"]
|
||||
auto.Centralna_brava = car["Centralna brava"]
|
||||
auto.Oldtimer = car["Oldtimer"]
|
||||
auto.ISOFIX = car["ISOFIX"]
|
||||
auto.Datum = car["Datum"]
|
||||
auto.save()
|
||||
print("Artikal obnovljen")
|
||||
|
||||
except Car.DoesNotExist:
|
||||
auto = Car.objects.create(
|
||||
Olx_id = car["Olx_id"],
|
||||
Kategorija = car["Kategorija"],
|
||||
Cijena = car["Cijena"],
|
||||
Stanje = car["Stanje"],
|
||||
Lokacija_kanton = car["Lokacija_kanton"],
|
||||
Lokacija_grad = car["Lokacija_grad"],
|
||||
Proizvođač = car["Proizvođač"],
|
||||
Model = car["Model"],
|
||||
Godište = car["Godište"],
|
||||
Kilometraža = car["Kilometraža"],
|
||||
Kilovata_KW = car["Kilovata (KW)"],
|
||||
Kubikaža = car["Kubikaža"],
|
||||
Gorivo = car["Gorivo"],
|
||||
Broj_vrata = car["Broj vrata"],
|
||||
Konjskih_snaga = car["Konjskih snaga"],
|
||||
Metalik = car["Metalik"],
|
||||
Masa_Težina_kg = car["Masa/Težina (kg)"],
|
||||
Tip = car["Tip"],
|
||||
Pogon = car["Pogon"],
|
||||
Emisioni_standard = car["Emisioni standard"],
|
||||
Veličina_felgi = car["Veličina felgi"],
|
||||
Transmisija = car["Transmisija"],
|
||||
Broj_stepeni_prijenosa = car["Broj stepeni prijenosa"],
|
||||
Boja = car["Boja"],
|
||||
Muzika_ozvučenje = car["Muzika / ozvučenje"],
|
||||
Parking_senzori = car["Parking senzori"],
|
||||
Parking_kamera = car["Parking kamera"],
|
||||
Registrovan_do = car["Registrovan do"],
|
||||
Godina_prve_registracije = car["Godina prve registracije"],
|
||||
Broj_prethodnih_vlasnika = car["Broj prethodnih vlasnika"],
|
||||
Posjeduje_gume = car["Posjeduje gume"],
|
||||
Višezonska_klima = car["Višezonska klima"],
|
||||
Rolo_zavjese = car["Rolo zavjese"],
|
||||
Svjetla = car["Svjetla"],
|
||||
Zaštita_Blokada = car["Zaštita/Blokada"],
|
||||
Sjedećih_mjesta = car["Sjedećih mjesta"],
|
||||
Turbo = car["Turbo"],
|
||||
DPF_FAP_filter = car["DPF/FAP filter"],
|
||||
Strane_tablice = car["Strane tablice"],
|
||||
Ocarinjen = car["Ocarinjen"],
|
||||
Prilagođen_invalidima = car["Prilagođen invalidima"],
|
||||
Servo_volan = car["Servo volan"],
|
||||
Tempomat = car["Tempomat"],
|
||||
ESP = car["ESP"],
|
||||
El_podizači_stakala = car["El. podizači stakala"],
|
||||
Senzor_mrtvog_ugla = car["Senzor mrtvog ugla"],
|
||||
Digitalna_klima = car["Digitalna klima"],
|
||||
Touch_screen_ekran = car["Touch screen (ekran)"],
|
||||
Panorama_krov = car["Panorama krov"],
|
||||
Koža = car["Koža"],
|
||||
Masaža_sjedišta = car["Masaža sjedišta"],
|
||||
El_pomjeranje_sjedišta= car["El. pomjeranje sjedišta"],
|
||||
Senzor_auto_svjetla = car["Senzor auto. svjetla"],
|
||||
Alarm = car["Alarm"],
|
||||
Daljinsko_otključavanje = car["Daljinsko otključavanje"],
|
||||
Auto_kuka = car["Auto kuka"],
|
||||
Udaren = car["Udaren"],
|
||||
Start_Stop_sistem = car["Start-Stop sistem"],
|
||||
Park_assist = car["Park assist"],
|
||||
Registrovan = car["Registrovan"],
|
||||
Na_lizingu = car["Na lizingu"],
|
||||
Servisna_knjiga = car["Servisna knjiga"],
|
||||
Komande_na_volanu = car["Komande na volanu"],
|
||||
ABS = car["ABS"],
|
||||
Airbag = car["Airbag"],
|
||||
Električni_retrovizori = car["Električni retrovizori"],
|
||||
Klima = car["Klima"],
|
||||
Navigacija = car["Navigacija"],
|
||||
Šiber = car["Šiber"],
|
||||
Naslon_za_ruku= car["Naslon za ruku"],
|
||||
Hlađenje_sjedišta = car["Hlađenje sjedišta"],
|
||||
Grijanje_sjedišta = car["Grijanje sjedišta"],
|
||||
Memorija_sjedišta = car["Memorija sjedišta"],
|
||||
Alu_felge = car["Alu felge"],
|
||||
Centralna_brava = car["Centralna brava"],
|
||||
Oldtimer = car["Oldtimer"],
|
||||
ISOFIX = car["ISOFIX"],
|
||||
Datum = car["Datum"],
|
||||
# Vrijeme = car["Vrijeme"]
|
||||
)
|
||||
auto.save()
|
||||
print("Novi artikal je spasen")
|
||||
print("___________________________")
|
||||
Saver()
|
||||
time.sleep(120)
|
||||
Reference in New Issue
Block a user