import time from cars.crawler import CarsCrawler from cars.models import Car #if num_of_crawl is 0 --> first start --> crawl all pages #if num_of_crawl is 1 --> second and others --> crawl just 2 pages num_of_crawl = 0 while True: def Saver(): print("_________________________________") global num_of_crawl if num_of_crawl == 0: cars = CarsCrawler(5) num_of_crawl += 1 else: cars = CarsCrawler(2) # print(len(cars)) for car in cars: print(car["Datum"], car["Olx_id"]) if Car.objects.all().filter(Olx_id = car["Olx_id"], Datum = car["Datum"]).exists(): print("Artikal postoji") continue try: auto = Car.objects.get(Olx_id = car["Olx_id"]) auto.Kategorija = car["Kategorija"] auto.Cijena = car["Cijena"] auto.Stanje = car["Stanje"] auto.Lokacija_kanton = car["Lokacija_kanton"] auto.Lokacija_grad = car["Lokacija_grad"] auto.Proizvođač = car["Proizvođač"] auto.Model = car["Model"] auto.Godište = car["Godište"] auto.Kilometraža = car["Kilometraža"] auto.Kilovata_KW = car["Kilovata (KW)"] auto.Kubikaža = car["Kubikaža"] auto.Gorivo = car["Gorivo"] auto.Broj_vrata = car["Broj vrata"] auto.Konjskih_snaga = car["Konjskih snaga"] auto.Metalik = car["Metalik"] auto.Masa_Težina_kg = car["Masa/Težina (kg)"] auto.Tip = car["Tip"] auto.Pogon = car["Pogon"] auto.Emisioni_standard = car["Emisioni standard"] auto.Veličina_felgi = car["Veličina felgi"] auto.Transmisija = car["Transmisija"] auto.Broj_stepeni_prijenosa = car["Broj stepeni prijenosa"] auto.Boja = car["Boja"] auto.Muzika_ozvučenje = car["Muzika / ozvučenje"] auto.Parking_senzori = car["Parking senzori"] auto.Parking_kamera = car["Parking kamera"] auto.Registrovan_do = car["Registrovan do"] auto.Godina_prve_registracije = car["Godina prve registracije"] auto.Broj_prethodnih_vlasnika = car["Broj prethodnih vlasnika"] auto.Posjeduje_gume = car["Posjeduje gume"] auto.Višezonska_klima = car["Višezonska klima"] auto.Rolo_zavjese = car["Rolo zavjese"] auto.Svjetla = car["Svjetla"] auto.Zaštita_Blokada = car["Zaštita/Blokada"] auto.Sjedećih_mjesta = car["Sjedećih mjesta"] auto.Turbo = car["Turbo"] auto.DPF_FAP_filter = car["DPF/FAP filter"] auto.Strane_tablice = car["Strane tablice"] auto.Ocarinjen = car["Ocarinjen"] auto.Prilagođen_invalidima = car["Prilagođen invalidima"] auto.Servo_volan = car["Servo volan"] auto.Tempomat = car["Tempomat"] auto.ESP = car["ESP"] auto.El_podizači_stakala = car["El. podizači stakala"] auto.Senzor_mrtvog_ugla = car["Senzor mrtvog ugla"] auto.Digitalna_klima = car["Digitalna klima"] auto.Touch_screen_ekran = car["Touch screen (ekran)"] auto.Panorama_krov = car["Panorama krov"] auto.Koža = car["Koža"] auto.Masaža_sjedišta = car["Masaža sjedišta"] auto.El_pomjeranje_sjedišta= car["El. pomjeranje sjedišta"] auto.Senzor_auto_svjetla = car["Senzor auto. svjetla"] auto.Alarm = car["Alarm"] auto.Daljinsko_otključavanje = car["Daljinsko otključavanje"] auto.Auto_kuka = car["Auto kuka"] auto.Udaren = car["Udaren"] auto.Start_Stop_sistem = car["Start-Stop sistem"] auto.Park_assist = car["Park assist"] auto.Registrovan = car["Registrovan"] auto.Na_lizingu = car["Na lizingu"] auto.Servisna_knjiga = car["Servisna knjiga"] auto.Komande_na_volanu = car["Komande na volanu"] auto.ABS = car["ABS"] auto.Airbag = car["Airbag"] auto.Električni_retrovizori = car["Električni retrovizori"] auto.Klima = car["Klima"] auto.Navigacija = car["Navigacija"] auto.Šiber = car["Šiber"] auto.Naslon_za_ruku= car["Naslon za ruku"] auto.Hlađenje_sjedišta = car["Hlađenje sjedišta"] auto.Grijanje_sjedišta = car["Grijanje sjedišta"] auto.Memorija_sjedišta = car["Memorija sjedišta"] auto.Alu_felge = car["Alu felge"] auto.Centralna_brava = car["Centralna brava"] auto.Oldtimer = car["Oldtimer"] auto.ISOFIX = car["ISOFIX"] auto.Datum = car["Datum"] auto.save() print("Artikal obnovljen") except Car.DoesNotExist: auto = Car.objects.create( Olx_id = car["Olx_id"], Kategorija = car["Kategorija"], Cijena = car["Cijena"], Stanje = car["Stanje"], Lokacija_kanton = car["Lokacija_kanton"], Lokacija_grad = car["Lokacija_grad"], Proizvođač = car["Proizvođač"], Model = car["Model"], Godište = car["Godište"], Kilometraža = car["Kilometraža"], Kilovata_KW = car["Kilovata (KW)"], Kubikaža = car["Kubikaža"], Gorivo = car["Gorivo"], Broj_vrata = car["Broj vrata"], Konjskih_snaga = car["Konjskih snaga"], Metalik = car["Metalik"], Masa_Težina_kg = car["Masa/Težina (kg)"], Tip = car["Tip"], Pogon = car["Pogon"], Emisioni_standard = car["Emisioni standard"], Veličina_felgi = car["Veličina felgi"], Transmisija = car["Transmisija"], Broj_stepeni_prijenosa = car["Broj stepeni prijenosa"], Boja = car["Boja"], Muzika_ozvučenje = car["Muzika / ozvučenje"], Parking_senzori = car["Parking senzori"], Parking_kamera = car["Parking kamera"], Registrovan_do = car["Registrovan do"], Godina_prve_registracije = car["Godina prve registracije"], Broj_prethodnih_vlasnika = car["Broj prethodnih vlasnika"], Posjeduje_gume = car["Posjeduje gume"], Višezonska_klima = car["Višezonska klima"], Rolo_zavjese = car["Rolo zavjese"], Svjetla = car["Svjetla"], Zaštita_Blokada = car["Zaštita/Blokada"], Sjedećih_mjesta = car["Sjedećih mjesta"], Turbo = car["Turbo"], DPF_FAP_filter = car["DPF/FAP filter"], Strane_tablice = car["Strane tablice"], Ocarinjen = car["Ocarinjen"], Prilagođen_invalidima = car["Prilagođen invalidima"], Servo_volan = car["Servo volan"], Tempomat = car["Tempomat"], ESP = car["ESP"], El_podizači_stakala = car["El. podizači stakala"], Senzor_mrtvog_ugla = car["Senzor mrtvog ugla"], Digitalna_klima = car["Digitalna klima"], Touch_screen_ekran = car["Touch screen (ekran)"], Panorama_krov = car["Panorama krov"], Koža = car["Koža"], Masaža_sjedišta = car["Masaža sjedišta"], El_pomjeranje_sjedišta= car["El. pomjeranje sjedišta"], Senzor_auto_svjetla = car["Senzor auto. svjetla"], Alarm = car["Alarm"], Daljinsko_otključavanje = car["Daljinsko otključavanje"], Auto_kuka = car["Auto kuka"], Udaren = car["Udaren"], Start_Stop_sistem = car["Start-Stop sistem"], Park_assist = car["Park assist"], Registrovan = car["Registrovan"], Na_lizingu = car["Na lizingu"], Servisna_knjiga = car["Servisna knjiga"], Komande_na_volanu = car["Komande na volanu"], ABS = car["ABS"], Airbag = car["Airbag"], Električni_retrovizori = car["Električni retrovizori"], Klima = car["Klima"], Navigacija = car["Navigacija"], Šiber = car["Šiber"], Naslon_za_ruku= car["Naslon za ruku"], Hlađenje_sjedišta = car["Hlađenje sjedišta"], Grijanje_sjedišta = car["Grijanje sjedišta"], Memorija_sjedišta = car["Memorija sjedišta"], Alu_felge = car["Alu felge"], Centralna_brava = car["Centralna brava"], Oldtimer = car["Oldtimer"], ISOFIX = car["ISOFIX"], Datum = car["Datum"], # Vrijeme = car["Vrijeme"] ) auto.save() print("Novi artikal je spasen") print("___________________________") Saver() time.sleep(120)