# !pip install bs4
import bs4 as bs, urllib, pandas as pd, numpy as np
Parse past X years
keyword='medve'
baseurl=u'https://szekelyhon.ro/kereses?op=search&src_words='
Modified to not include dates - to comply with the new news format
def extractor(page):
print('Parsing... page',page)
url=baseurl+keyword+'&page='+str(page)
html = urllib.request.urlopen(url).read()
# soup = bs.BeautifulSoup(html,'lxml')
soup = bs.BeautifulSoup(html,"html.parser")
return soup.findAll("div", {"class": "cikkocka2c"})
divs=[]
for i in range(1,13):
divs.append(extractor(i))
Parsing... page 1 Parsing... page 2 Parsing... page 3 Parsing... page 4 Parsing... page 5 Parsing... page 6 Parsing... page 7 Parsing... page 8 Parsing... page 9 Parsing... page 10 Parsing... page 11 Parsing... page 12
def date_hu_en(i):
date=i[6:-4]
if date=='augusztus': m='08'
elif date=='december': m='12'
elif date=='február': m='02'
elif date=='január': m='01'
elif date=='július': m='07'
elif date=='június': m='06'
elif date=='május': m='05'
elif date=='március': m='03'
elif date=='november': m='11'
elif date==u'október': m='10'
elif date==u'szeptember': m='09'
elif date==u'április': m='04'
else: return date
return i[:4]+'-'+m+'-'+i[-3:-1]
def find_all(s, ch):
return [i for i, letter in enumerate(s) if letter == ch]
from utils import text_processor
hirek=[]
tagset=set()
for i in range(len(divs)-1):
divgroup=divs[i]
for div in divgroup:
icat=''
img=div.find('img')
if img !=None:
img=img['src']
#infer image category from image link
icats=find_all(img,'/')
if len(icats)>4:
icat=img[icats[3]+1:icats[4]]
tags=div.find("div", {"class": "tags_con1"})
if tags!=None:
tags=[j.text.strip() for j in tags.findAll('div')]
idiv=div.find("div", {"class": "catinner"})
if idiv!=None:
idiv=idiv.find('div')
content=div.find('p')
date=idiv.text[idiv.text.find('20'):idiv.text.find(',')]
title=div.find('h2').text
print(title)
if content==None:
sdiv=str(div)[::-1]
content=sdiv[:sdiv.find('>a/<')].replace('\r','').replace('\t','').replace('\n','')[::-1][:-6]
else: content=content.text
content=content.replace('</div><div class="clear"></div></div><div class="clear"></div>','')
link=div.findAll('a')[-1]['href']
#infer category from link
cats=find_all(link,'/')
if len(cats)>3:
cat=link[cats[2]+1:cats[3]]
else: cat=''
#infer attack from plain text
relevant,severity,deaths=text_processor(title,content)
if tags!=None:
notags=[u'Húsvét',u'Film',u'Egészségügy',u'Külföld',u'Színház',u'Ünnep']
for notag in notags:
if notag in tags:
relevant=-1
break
if ((relevant>-1)&\
(cat not in ['sport','muvelodes','sms-e-mail-velemeny','tusvanyos'])&\
(title not in [u'Röviden'])):
if tags!=None:
tagset=tagset.union(set(tags))
if 'medve' in tags:
relevant=1
hirek.append({'date':date_hu_en(date),
'hudate':date,
'title':title,
'image':img,
'tags':repr(tags),
'content':content,
'link':link,
'category':cat,
'icategory':icat,
'relevant':relevant,
'severity':severity,
'deaths':deaths,
'duplicate':0
})
Annyira sokrétű a medveprobléma, hogy a beavatkozási törvény módosítása is csak tűzoltásnak számít Azonnal kilőhetők lesznek a medvék településen kívüli támadás esetén is Medvebocs befogásában kérték a csendőrség segítségét Hegyimentők az újfalvi tragédiáról: az áldozatot már nem lehetett megmenteni Holtan találtak egy férfit, medvetámadás áldozata lehetett Lezárult a kerékpárútvonalak feltérképezése, nyerteseket is sorsoltak Medvét láttak a csíkszeredai Brassói úton Medvék miatt riasztották a hegyimentőket a Kis-Cohárd közelében Medvetámadás Szépvíz közelében: csonttörést szenvedett a pásztor, olyan erősen harapta meg a vadállat Medvét gázolt el egy gépkocsi Sepsiszentgyörgy közelében, az állat elpusztult Medvéket vittek a vadászterületeikre, anélkül, hogy előtte szóltak volna nekik erről Vigyázat, nagyvadak! Elkészült Székelyudvarhelyen a szabályos medveketrec Medvét ütött el a vonat a sepsibükszádi vasútállomásnál Bocsaival együtt fogták be, és szállították el az egyik anyamedvét Szovátáról Az árok, amelyet nem mélyíteni, hanem tömni kell az árvíz megelőzéséhez Kiugróan magas idén a medvék okozta károk száma Gyergyószentmiklóson Bevált a medvecsapda Székelyudvarhelyen Kétszer több vadkárt jegyeztek a tavalyhoz képest, ezek túlnyomó részét medvék okozták Újabb csapás a turizmusnak Kártérítés járt a tusnádi medvetámadásért, de a per három évbe tellett Három medvét lőhetnek ki Udvarhelyszéken, megvan, hogy konkrétan hol Ön is a szerencsések közé tartozik? Gyere, Péter! Harminc százalékkal nőtt a silókukorica-földeken észlelt vadkárok mértéke Hargita megyében Elütött medvét találtak a Maros megyei Petele közelében Még nem lőttek medvére a vadásztársulatok Hargita megyében Nyolc portán vonult végig a medve, az emberek már belefáradtak, hogy a hatóságokat értesítsék Megölték a falu lakói a településre visszatérő medvét Szovátán már napi látogató a medve, ez meg is látszik a kirándulók számán Saját udvarán támadt rá a medve a harmincéves nőre Balánbányán és Tarcsafalván volt medvejárás a hétvégén Turisták futottak össze a medvével A medvegarázdálkodások elleni sürgősségi beavatkozás részleteiről tájékoztatták a polgármestereket Csíkszeredai udvarokban pusztított egy medve Véletlenül bezárta a csűrbe az udvarára tévedt medvét Gyakran éri kellemetlen meglepetés a betakarítást végző gazdákat Ezért merészkedik be egyre több medve a lakott területekre Székelyföldön Kiengedik a kórházból a pénteki madéfalvi medvetámadás áldozatát Ötvenéves nőre támadt a medve Madéfalvánál, az áldozat súlyos állapotban van Mentőt hívott magának a pásztor, akire rátámadt a medve Bükkhavasban Még csak szeptember elején vagyunk, de már 28 riasztást küldtek ki a hónapban medvék miatt Továbbra sincs engedély, de már nem is lőnék ki a Kápolnásfalunál emberre támadó medvét Pásztorra támadt egy medve Csicsó és Madéfalva közelében Medvekérdés: nyomás alá helyezi a sürgősségi rendelet a településvezetőket Medvét ütöttek el Recsenyéd és Homoródszentmárton között Elvitte a medve a juhot, a pásztor utána lesett, a vadállat rátámadt, a kutyák elkergették a medvét Jelentős előrelépés medveügyben: országos tervet mutatott be a környezetvédelmi minisztérium Állatokra vigyázott a mezőn, rátámadt a medve Kilőtték a Románandrásfalvánál emberre támadó medvét Nagyon tudják ezek a medvék, hogy mikor kell lelépni Pontosították, hogy mi a teendő a medvék miatti beavatkozásoknál Most a csíkszeredaiakon volt a sor, hogy medveriasztásra ébredjenek Nagyobb testű, a kölykeivel sétáló kutya miatt érkezhetett a hétvégi Ro-Alert riasztás Székelyudvarhelyen Ennyiszer riasztották a hatóságokat medve felbukkanása miatt Hargita megyében a hétvégén Medvét láttak a csíksomlyói borvízkútnál Medvét gázolt el egy autó Csíkszentdomokoson, elpusztult a vadállat Tehenet ölt a medve Székelyudvarhely mellett Hivatalos címere van Székelyudvarhelynek és Barátosnak Medvehelyzet: több opció közül kell kiválasztani a beavatkozás módját Eltűnt férfit kerestek a Vargyas-szorosban, aki reggelre került elő Ilyen még sosem volt: Szentegyháza központjából érkezett a medveriasztás Behozni a lemaradást: 200 millió eurót különítettek el a félbehagyott csatornahálózatok kiépítésére Medvét láttak a csíkszeredai Hajnal utcában Egyedi, mindenki számára elfogadható címert szeretnének a bögöziek, de nincs egyetértés Antal Árpád: a medvék azonnali eltávolítását szabályozó kormányrendelet egy eszköz, amivel élni kell Kiengedték a kórházból, de több hónapos lesz a felépülése a pálfalvi medvetámadás áldozatának Medvetetemet találtak azon a környéken, ahol nemrég megölt a nagyvad egy embert Medvét láttak Szentegyháza határában A túl mély árokkal magyarázzák az árvízgondot Máréfalván Ez a hétvége sem telt el medveriasztások nélkül Emlékkövekkel tisztelegnek Szováta helytörténeti jelentőségű személyiségei előtt A gasztronómia is hangsúlyos szerepet kapott az Egyfeszten Akad még valaki, aki puska nélkül be mer menni az erdőbe? A Gyergyói-medence értékeit népszerűsíti a csütörtökön elstartolt Egyfeszt Esti támadás: úgy tűnik, csak ellökte a medve, de az áldozat így is fejsérülést szenvedett 53,5 millió lejt fordítanak a medvepopuláció megfigyelésére Sok szabály vonatkozik azokra, akik eladásra szedik az áfonyát a Madarasi Hargitán Megpróbálta elkergetni a juhok közeléből a medvét, és akkor... Nyugtalanság Gernyeszegen a halálos medvetámadás után Koncertek a Súgó-barlangban, medveles és Gyergyóikum-túra – csütörtökön kezdődik az Egyfeszt A megszabott határidő miatt nem várhattak az aszfaltozással Máréfalván A medve nem játék, különösen lakott területen – vadászok a beavatkozási törvényről Medve végezhetett egy pásztorral Gernyeszeg határában Súlyos sérüléseket szenvedett a medvetámadás áldozata, a nagyvad több ujját is leharapta – hétórás műtéten van túl Rákaptak a pityókára a szarvasok, az életükbe kerülhet Úgy hatolt be a medve egy gazdaságba és pusztított el hét juhot, hogy meg sem sérült a villanypásztor Medvepark létrehozásában érdekelt Hargita megye, még „szafarit” is szerveznének ott Egy hétig tartott rettegésben egy grizzly medve egy alaszkai táborozót Még mindig per tárgya a három évvel ezelőtti medvetámadás után kifizetendő kártérítés Elfogadta a kormány az azonnali beavatkozás lehetőségét az emberéletet veszélyeztető medvék esetében Áttelepítették a tusnádfürdői házakba betörő hárombocsos anyamedvét Több mint hatszáz aláírás társaságában küldik el a panaszlevelet a tusnádfürdőiek Emberre támadt a medve Székelypálfalván Hat hónap alatt ötszáz háziállat esett a medvék áldozatául Hargita megyében A ház egyik szobájában barikádozta el magát a medve elől az idős asszony Alig aludtak vissza a városlakók az első medveriasztás után, máris jött a második És mit mond a medvekutató? Medvét ütöttek el a Szejkefürdőn, a nagyvad elmenekült a helyszínről Tucatnyi esetben kellett közbelépniük a Hargita megyei hatóságoknak a medvék miatt Megköszönte a tusnádfürdőiek kiállását a miniszter A már elviselhetetlenné vált medveprobléma ellen tüntettek Tusnádfürdőn Szinte mindig csak medvére figyelmeztet a Ro-Alert rendszer Háromszéken Eddig csak félgőzzel indult be a székelyföldi turizmus Mobilapplikáció segítségével is bejárhatjuk Szovátát Gyermekre támadt egy medve Gelencén Medvét vagy életet? Zöld lobbi az erdőből nézve Vonat gázolt halálra egy medvét Gidófalvánál Ennyiszer riasztották a hétvégén a hatóságokat medve felbukkanása miatt Hargita megyében Többen is meglátogatták a medvecsapdát, de egyikük sem volt medve Tánczos: nem tekinthetőek potenciális veszélynek az emberektől meg nem riadó medvék Puskalövésekkel kellett elkergetni az emberre támadó medvét Szolidárisnak kellene lenni azokkal, akiket napi szinten érint a medveprobléma Elaltattak egy súlyosan megsérült, elgázolt medvét Turisták tömegét vonzották a medvékre figyelmeztető Ro-Alert üzenetek Tusnádfürdőn Enni akkor is kell, ha sok dolgunk van – gyors, praktikus receptek a Főnix Konyhától Jószágot ölt a medve a tüntetés napján is Gyergyószéken Tarthatatlanná vált medvehelyzet, Háromszék mind az öt városában utcára vonultak az emberek Több ezer fős tüntetés helyett csak mintegy százan tiltakoztak a fővárosban Már nem kérik, hanem követelik a közbelépést medveügyben Emberek és medvék otthona Békés tüntetésre készülnek a nagyvadak miatt A sugásfürdői medve áthelyezését vagy kilövését kéri a sepsiszentgyörgyi önkormányzat Medvét ütöttek el Udvarhelyszéken: egy darabig az úton feküdt az állat, aztán odébbállt Túlélte a medvetámadást a szaladó férfi, de hosszas lesz a felépülése Szemétdíjról, közszállításról, áradásról szólt a székelyudvarhelyi tanácsülés Nekiment a Tánczos Barna leváltását követelő zöldeknek a háromszéki szenátor Medvék törtek be a tusnádfürdői polgármester garázsába Tizennyolc alkalommal riasztották a hatóságiakat a medvék miatt Medveproblémák: sürgősségi beavatkozásra és állományszabályozásra is szükség lenne Háromszéken is emberre támadt a medve Itt a Medve-tó, amott egy medve Emberre támadt a medve Kápolnásfalu határában Medveinvázió Erdőszentgyörgyön Strandszezon van, ám a meteorológusok nem biztatnak sok jóval Az idei Filmszeredán a filmek is „mennek” a nézőkhöz Medvét ütött el a vonat Alsóboldogfalvánál Hat órán át küzdöttek a medvetámadás áldozatának megmentéséért – már stabil az állapota Medvecsapdát helyeztek el a Csereháton Medvetámadás Hargita megyében, súlyos állapotban van a megsebesült férfi „Bekopogtak” a homoródszentpáli gólyákhoz Panzióba és üzletbe törtek be a medvék Tusnádfürdőn Háromszéki ifjúsági konzultáció: hiába az aszfaltozás, ha elszivárognak a fiatalok Ismét lehet mozizni Csíkszeredában, nyilvános az ötödik Filmszereda programja Medve járt a tömbházak között Székelyudvarhelyen Elektromos kerítésbe szorult medvebocsot mentettek ki Vonat gázolt el egy medvét Különdíjasok lettek a székelyudvarhelyi séfek a Magyarország Étele 2021 versenyen Medve miatt riasztották a hatóságokat Székelyudvarhelyen, dörrenéseket is lehetett hallani Hatszor riasztották a hatóságokat a medvék miatt Hargita megyében Medvét hajtottak a csendőrök Csíksomlyó Fitód felőli oldalában Maroshévízen és Tusnádfürdőn egy nap alatt ötször riasztották medvékhez a hatóságokat Ismert gombászóhelyen rejtőzhetett el a sebzett medve Medvét gázolt el egy autó Szejke közelében, elszaladt a sérült vadállat Növekvő medveveszély: néhány megye Románia állatkertje, az ország pedig Európáé Szirénával hajtották el a medvéket Tusnádfürdőn hétfőn éjszaka Házakba próbált betörni a medve, a lakóknak menekülniük kellett Beperelik a „legnagyobb medvét” kiáltó környezetvédőt Medvék és farkasok nyomában jártunk Juhot, bárányokat és nyulakat ölt a medve Ajnádon – videó Nyitnak a mozik, magyar szinkronos gyermekfilm is műsoron A medvék vagy az emberek? Juhokra támadt a medve, de az odasiető gazdát is megsebesítette Medveriasztásokkal teli hétvége Tánczos: néhány óra alatt több mint nyolcezren regisztráltak a háztartási gépek roncsprogramjára Legalább a csíksomlyói búcsú idején ne legyen a közelben a bocsos anyamedve Éledezik a turizmus, de a foglalások száma még nem ugrott meg Medveveszélyre figyelmeztetnek a sugásfürdői és a benedekmezei erdők turistaútvonalain Ismét medvék kóboroltak az országúton a Szejkefürdő közelében Tánczos: az ozsdolai medve minden bizonnyal nagy volt, de nem a legnagyobb Legalább húsz medve él Székelyudvarhely közelében, a szakemberek szerint ezután lesznek igazán nagy gondok Az esti órákban is megjelent a medve Szécsenyben Medve jelenlétére figyelmeztetnek Szécsenyben Elpusztult medvét találtak Medveetetésért bírságoltak a csendőrök „…igenis ki szokták lőni” A vadásztársadalmat is megosztotta a Kovászna megyei medvekilövés ügye
Összes medvés hír
df=pd.DataFrame().from_dict(hirek)
df['date']=pd.to_datetime(df['date'])
df=df.sort_values('date').drop_duplicates().reset_index(drop=True)
len(hirek)
136
Save to medve Excel. Manual curation
dm=df[[ 'date', 'hudate', 'link','image', 'category','icategory','tags','title',
'content']]
dc=df[['title','content','relevant', 'severity','deaths','duplicate']]
# !pip install openpyxl
#save parsed data
dm.to_excel('data/szekelyhon_medve.xlsx')
#save data for curation
#1 if you dont have savedata yet
existing_savedata=False
if not existing_savedata:
dc.to_excel('data/szekelyhon_medve_curated.xlsx')
#2 if you already have savedata
else:
dc2=pd.read_excel('data/szekelyhon_medve_curated.xlsx')
dc2.combine_first(dc).to_excel('data/szekelyhon_medve_curated.xlsx')
Open data/szekelyhon_medve_curated
and manually confirm each case.
Relevant = Medves cikk-e vagy sem: 1-igen, 0-nem biztos, -1:biztosan nem
Deaths = Halalok szama (ha ismert)
Severity = Sulyossag: 0-mas jellegu hir, 1-nyom, 2-latas, 3-allat-tamadas, 4-ember-tamadas
Duplicate = 0: Eredeti cikk, 1: Masolat, 2: Osszegzes