import requests
for line in requests.get('http://bit.ly/2dfjvCC').text.splitlines():
print(line.strip())
import io
import requests
import csv
lines = requests.get('http://bit.ly/2dfjvCC').text.splitlines()
output_file = open('/Users/Nicholas/Desktop/news.csv', 'w', encoding = 'utf8', newline='')
writer = csv.writer(output_file, dialect='excel')
headers = ['Title', 'Link', 'Date', 'Tags', 'Description']
writer.writerow(headers)
line_iterator = iter(lines)
while True:
try:
row = []
for X in range(5):
item = next(line_iterator)
row.append(item)
writer.writerow(row)
next(line_iterator)
next(line_iterator)
except StopIteration:
break
output_file.close()
import gzip
import io
import pandas as pd
import requests
import re
from IPython.display import display
baseurl = 'http://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/'
fintable = pd.DataFrame()
html = requests.get(baseurl).text
for line in html.splitlines():
line = line.lstrip()
filename = re.findall(r'StormEvents_details-ftp_v1\.0_d1959_c\d{8}\.csv\.gz', line)
if filename:
yearurl = baseurl + filename[0]
yeardatagzip = requests.get(yearurl).content
yearfilegzip = io.BytesIO(yeardatagzip)
yearfile = gzip.GzipFile(fileobj=yearfilegzip, mode='rb')
table = pd.read_csv(yearfile, low_memory=False, encoding='iso-8859-15')
fintable = pd.concat([fintable, table])
display(fintable)
#fintable.to_csv(r'/PATH TO FILE/storm-events2.csv', encoding='utf-8', columns=["BEGIN_YEARMONTH", "EVENT_ID", "STATE", "STATE_FIPS", "CZ_FIPS", "CZ_NAME", "EVENT_TYPE", "DAMAGE_PROPERTY", "BEGIN_LAT", "BEGIN_LON"])
BEGIN_YEARMONTH | BEGIN_DAY | BEGIN_TIME | END_YEARMONTH | END_DAY | END_TIME | EPISODE_ID | EVENT_ID | STATE | STATE_FIPS | ... | END_RANGE | END_AZIMUTH | END_LOCATION | BEGIN_LAT | BEGIN_LON | END_LAT | END_LON | EPISODE_NARRATIVE | EVENT_NARRATIVE | DATA_SOURCE | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | 195910 | 8 | 1900 | 195910 | 8 | 1900 | NaN | 10041753 | MICHIGAN | 26 | ... | 0 | NaN | NaN | 41.88 | -85.83 | 42.00 | -85.65 | NaN | NaN | PUB |
1 | 195904 | 19 | 1700 | 195904 | 19 | 1700 | NaN | 10062668 | MISSOURI | 29 | ... | 0 | NaN | NaN | 37.20 | -93.40 | NaN | NaN | NaN | NaN | PUB |
2 | 195905 | 9 | 1815 | 195905 | 9 | 1815 | NaN | 10019293 | IOWA | 19 | ... | 0 | NaN | NaN | 41.70 | -92.60 | 41.75 | -92.52 | NaN | NaN | PUB |
3 | 195905 | 4 | 1835 | 195905 | 4 | 1835 | NaN | 10118763 | TEXAS | 48 | ... | 0 | NaN | NaN | 34.38 | -100.18 | NaN | NaN | NaN | NaN | PUB |
4 | 195904 | 20 | 100 | 195904 | 20 | 100 | NaN | 10124979 | TENNESSEE | 47 | ... | 0 | NaN | NaN | 36.28 | -88.28 | NaN | NaN | NaN | NaN | PUB |
5 | 195905 | 8 | 1515 | 195905 | 8 | 1515 | NaN | 10081702 | NEW MEXICO | 35 | ... | 0 | NaN | NaN | 34.10 | -103.10 | 34.13 | -103.02 | NaN | NaN | PUB |
6 | 195905 | 9 | 1800 | 195905 | 9 | 1800 | NaN | 10094788 | OKLAHOMA | 40 | ... | 0 | NaN | NaN | 36.40 | -95.80 | 36.52 | -95.77 | NaN | NaN | PUB |
7 | 195909 | 24 | 2026 | 195909 | 24 | 2026 | NaN | 10121045 | TEXAS | 48 | ... | 0 | NaN | NaN | 35.20 | -101.68 | NaN | NaN | NaN | NaN | PUB |
8 | 195904 | 16 | 1830 | 195904 | 16 | 1830 | NaN | 10094740 | OKLAHOMA | 40 | ... | 0 | NaN | NaN | 35.88 | -99.28 | NaN | NaN | NaN | NaN | PUB |
9 | 195908 | 1 | 1600 | 195908 | 1 | 1600 | NaN | 10009562 | IDAHO | 16 | ... | 0 | NaN | NaN | 42.78 | -113.58 | NaN | NaN | NaN | NaN | PUB |
10 | 195905 | 29 | 1630 | 195905 | 29 | 1630 | NaN | 10027877 | KANSAS | 20 | ... | 0 | NaN | NaN | 39.37 | -100.47 | 39.47 | -100.38 | NaN | NaN | PUB |
11 | 195904 | 8 | 630 | 195904 | 8 | 630 | NaN | 10122990 | TEXAS | 48 | ... | 0 | NaN | NaN | 30.10 | -95.62 | 30.15 | -95.57 | NaN | NaN | PUB |
12 | 195905 | 10 | 1900 | 195905 | 10 | 1900 | NaN | 10027838 | KANSAS | 20 | ... | 0 | NaN | NaN | 39.78 | -95.08 | NaN | NaN | NaN | NaN | PUB |
13 | 195904 | 16 | 1630 | 195904 | 16 | 1630 | NaN | 10026094 | KANSAS | 20 | ... | 0 | NaN | NaN | 37.58 | -99.90 | NaN | NaN | NaN | NaN | PUB |
14 | 195907 | 11 | 1830 | 195907 | 11 | 1830 | NaN | 10029003 | KANSAS | 20 | ... | 0 | NaN | NaN | 37.38 | -101.40 | NaN | NaN | NaN | NaN | PUB |
15 | 195906 | 25 | 1700 | 195906 | 25 | 1700 | NaN | 10159475 | WYOMING | 56 | ... | 0 | NaN | NaN | 44.27 | -104.52 | NaN | NaN | NaN | NaN | PUB |
16 | 195907 | 25 | 2130 | 195907 | 25 | 2130 | NaN | 10080150 | NEVADA | 32 | ... | 0 | NaN | NaN | 38.08 | -117.08 | NaN | NaN | NaN | NaN | PUB |
17 | 195908 | 25 | 1500 | 195908 | 25 | 1500 | NaN | 10080151 | NEVADA | 32 | ... | 0 | NaN | NaN | 36.08 | -115.00 | NaN | NaN | NaN | NaN | PUB |
18 | 195909 | 14 | 1627 | 195909 | 14 | 1627 | NaN | 10080152 | NEVADA | 32 | ... | 0 | NaN | NaN | 40.78 | -115.80 | NaN | NaN | NaN | NaN | PUB |
19 | 195907 | 18 | 2100 | 195907 | 18 | 2100 | NaN | 10080149 | NEVADA | 32 | ... | 0 | NaN | NaN | 36.08 | -115.18 | NaN | NaN | NaN | NaN | PUB |
20 | 195903 | 10 | 1840 | 195903 | 10 | 1840 | NaN | 10122111 | TEXAS | 48 | ... | 0 | NaN | NaN | 32.58 | -96.78 | NaN | NaN | NaN | NaN | PUB |
21 | 195903 | 10 | 1945 | 195903 | 10 | 1945 | NaN | 10122112 | TEXAS | 48 | ... | 0 | NaN | NaN | 32.38 | -96.18 | NaN | NaN | NaN | NaN | PUB |
22 | 195903 | 10 | 2000 | 195903 | 10 | 2000 | NaN | 10122113 | TEXAS | 48 | ... | 0 | NaN | NaN | 33.20 | -96.18 | NaN | NaN | NaN | NaN | PUB |
23 | 195903 | 20 | 1245 | 195903 | 20 | 1245 | NaN | 10122114 | TEXAS | 48 | ... | 0 | NaN | NaN | 33.43 | -96.35 | 33.58 | -96.30 | NaN | NaN | PUB |
24 | 195903 | 20 | 1245 | 195903 | 20 | 1245 | NaN | 10122115 | TEXAS | 48 | ... | 0 | NaN | NaN | 33.43 | -96.35 | 33.58 | -96.30 | NaN | NaN | PUB |
25 | 195903 | 20 | 1345 | 195903 | 20 | 1345 | NaN | 10122116 | TEXAS | 48 | ... | 0 | NaN | NaN | 32.08 | -95.00 | NaN | NaN | NaN | NaN | PUB |
26 | 195905 | 21 | 1855 | 195905 | 21 | 1855 | NaN | 10119874 | TEXAS | 48 | ... | 0 | NaN | NaN | 33.00 | -99.68 | NaN | NaN | NaN | NaN | PUB |
27 | 195905 | 22 | 705 | 195905 | 22 | 705 | NaN | 10119875 | TEXAS | 48 | ... | 0 | NaN | NaN | 33.37 | -101.47 | NaN | NaN | NaN | NaN | PUB |
28 | 195905 | 22 | 1253 | 195905 | 22 | 1253 | NaN | 10119876 | TEXAS | 48 | ... | 0 | NaN | NaN | 34.00 | -98.50 | NaN | NaN | NaN | NaN | PUB |
29 | 195905 | 22 | 1514 | 195905 | 22 | 1514 | NaN | 10119877 | TEXAS | 48 | ... | 0 | NaN | NaN | 32.38 | -100.00 | NaN | NaN | NaN | NaN | PUB |
... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
1783 | 195907 | 8 | 1654 | 195907 | 8 | 1654 | NaN | 10145500 | WISCONSIN | 55 | ... | 0 | NaN | NaN | 45.78 | -88.00 | NaN | NaN | NaN | NaN | PUB |
1784 | 195909 | 26 | 1650 | 195909 | 26 | 1650 | NaN | 10009825 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 41.32 | -89.13 | 41.35 | -89.03 | NaN | NaN | PUB |
1785 | 195909 | 26 | 1700 | 195909 | 26 | 1700 | NaN | 10009826 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 42.20 | -88.83 | NaN | NaN | NaN | NaN | PUB |
1786 | 195909 | 26 | 1745 | 195909 | 26 | 1745 | NaN | 10009827 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 41.97 | -87.97 | 42.03 | -87.80 | NaN | NaN | PUB |
1787 | 195909 | 26 | 1900 | 195909 | 26 | 1900 | NaN | 10009830 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 38.03 | -89.38 | NaN | NaN | NaN | NaN | PUB |
1788 | 195909 | 26 | 1930 | 195909 | 26 | 1930 | NaN | 10009831 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 41.65 | -88.35 | 41.68 | -88.28 | NaN | NaN | PUB |
1789 | 195909 | 26 | 1800 | 195909 | 26 | 1800 | NaN | 10009828 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 42.13 | -88.03 | 42.25 | -87.85 | NaN | NaN | PUB |
1790 | 195909 | 26 | 1800 | 195909 | 26 | 1800 | NaN | 10009829 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 42.00 | -87.90 | NaN | NaN | NaN | NaN | PUB |
1791 | 195907 | 12 | 2130 | 195907 | 12 | 2130 | NaN | 10081720 | NEW MEXICO | 35 | ... | 0 | NaN | NaN | 32.88 | -105.90 | NaN | NaN | NaN | NaN | PUB |
1792 | 195910 | 13 | 1830 | 195910 | 13 | 1830 | NaN | 9995202 | GEORGIA | 13 | ... | 0 | NaN | NaN | 34.00 | -85.28 | NaN | NaN | NaN | NaN | PUB |
1793 | 195910 | 13 | 1930 | 195910 | 13 | 1930 | NaN | 9995203 | GEORGIA | 13 | ... | 0 | NaN | NaN | 34.08 | -83.78 | NaN | NaN | NaN | NaN | PUB |
1794 | 195909 | 27 | 1915 | 195909 | 27 | 1915 | NaN | 10009832 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 41.28 | -90.90 | NaN | NaN | NaN | NaN | PUB |
1795 | 195909 | 27 | 2030 | 195909 | 27 | 2030 | NaN | 10009833 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 40.47 | -90.60 | 40.55 | -90.45 | NaN | NaN | PUB |
1796 | 195909 | 27 | 2300 | 195909 | 27 | 2300 | NaN | 10009834 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 41.78 | -87.78 | NaN | NaN | NaN | NaN | PUB |
1797 | 195909 | 28 | 1800 | 195909 | 28 | 1800 | NaN | 10009835 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 40.00 | -88.90 | NaN | NaN | NaN | NaN | PUB |
1798 | 195909 | 28 | 1805 | 195909 | 28 | 1805 | NaN | 10009836 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 39.50 | -89.40 | NaN | NaN | NaN | NaN | PUB |
1799 | 195910 | 8 | 1530 | 195910 | 8 | 1530 | NaN | 10009837 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 42.33 | -88.23 | NaN | NaN | NaN | NaN | PUB |
1800 | 195910 | 10 | 1715 | 195910 | 10 | 1715 | NaN | 10009838 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 38.95 | -90.15 | 39.12 | -89.27 | NaN | NaN | PUB |
1801 | 195910 | 10 | 1730 | 195910 | 10 | 1730 | NaN | 10009839 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 39.00 | -90.40 | NaN | NaN | NaN | NaN | PUB |
1802 | 195910 | 10 | 1745 | 195910 | 10 | 1745 | NaN | 10009840 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 39.08 | -89.50 | NaN | NaN | NaN | NaN | PUB |
1803 | 195910 | 23 | 1525 | 195910 | 23 | 1525 | NaN | 10009841 | ILLINOIS | 17 | ... | 0 | NaN | NaN | 42.20 | -87.78 | NaN | NaN | NaN | NaN | PUB |
1804 | 195901 | 21 | 425 | 195901 | 21 | 425 | NaN | 10033677 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.08 | -88.68 | NaN | NaN | NaN | NaN | PUB |
1805 | 195901 | 21 | 1230 | 195901 | 21 | 1230 | NaN | 10033678 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.40 | -86.62 | 37.43 | -86.50 | NaN | NaN | PUB |
1806 | 195901 | 21 | 1300 | 195901 | 21 | 1300 | NaN | 10033679 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.88 | -86.08 | NaN | NaN | NaN | NaN | PUB |
1807 | 195901 | 21 | 1310 | 195901 | 21 | 1310 | NaN | 10033680 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.70 | -85.90 | NaN | NaN | NaN | NaN | PUB |
1808 | 195901 | 21 | 1341 | 195901 | 21 | 1341 | NaN | 10033681 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 38.00 | -84.50 | NaN | NaN | NaN | NaN | PUB |
1809 | 195901 | 21 | 1400 | 195901 | 21 | 1400 | NaN | 10033682 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.50 | -83.40 | NaN | NaN | NaN | NaN | PUB |
1810 | 195902 | 10 | 615 | 195902 | 10 | 615 | NaN | 10033683 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 37.70 | -87.92 | NaN | NaN | NaN | NaN | PUB |
1811 | 195902 | 10 | 700 | 195902 | 10 | 700 | NaN | 10033684 | KENTUCKY | 21 | ... | 0 | NaN | NaN | 38.78 | -84.40 | NaN | NaN | NaN | NaN | PUB |
1812 | 195907 | 11 | 1445 | 195907 | 11 | 1445 | NaN | 9982010 | ARKANSAS | 5 | ... | 0 | NaN | NaN | 35.00 | -92.90 | NaN | NaN | NaN | NaN | PUB |
1813 rows × 51 columns