In [ ]:
import requests


for line in requests.get('http://bit.ly/2dfjvCC').text.splitlines():
    print(line.strip())
In [3]:
import io
import requests
import csv

lines = requests.get('http://bit.ly/2dfjvCC').text.splitlines()

output_file = open('/Users/Nicholas/Desktop/news.csv', 'w', encoding = 'utf8', newline='')

writer = csv.writer(output_file, dialect='excel')

headers = ['Title', 'Link', 'Date', 'Tags', 'Description']

writer.writerow(headers)

line_iterator = iter(lines)

while True:
    try:
        row = []
        for X in range(5):
            item = next(line_iterator)
            row.append(item)
        writer.writerow(row)
        
        next(line_iterator)
        next(line_iterator)
        
        
    except StopIteration:
        break

output_file.close()
In [4]:
import gzip
import io
import pandas as pd
import requests
import re
from IPython.display import display


baseurl = 'http://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/'

fintable = pd.DataFrame()

html = requests.get(baseurl).text

for line in html.splitlines():
    line = line.lstrip()
    filename = re.findall(r'StormEvents_details-ftp_v1\.0_d1959_c\d{8}\.csv\.gz', line)
    if filename:
        yearurl = baseurl + filename[0]
        yeardatagzip = requests.get(yearurl).content
        yearfilegzip = io.BytesIO(yeardatagzip)
        yearfile = gzip.GzipFile(fileobj=yearfilegzip, mode='rb')
        table = pd.read_csv(yearfile, low_memory=False, encoding='iso-8859-15')
        fintable = pd.concat([fintable, table])

display(fintable)

#fintable.to_csv(r'/PATH TO FILE/storm-events2.csv', encoding='utf-8', columns=["BEGIN_YEARMONTH", "EVENT_ID", "STATE", "STATE_FIPS", "CZ_FIPS", "CZ_NAME", "EVENT_TYPE", "DAMAGE_PROPERTY", "BEGIN_LAT", "BEGIN_LON"])
BEGIN_YEARMONTH BEGIN_DAY BEGIN_TIME END_YEARMONTH END_DAY END_TIME EPISODE_ID EVENT_ID STATE STATE_FIPS ... END_RANGE END_AZIMUTH END_LOCATION BEGIN_LAT BEGIN_LON END_LAT END_LON EPISODE_NARRATIVE EVENT_NARRATIVE DATA_SOURCE
0 195910 8 1900 195910 8 1900 NaN 10041753 MICHIGAN 26 ... 0 NaN NaN 41.88 -85.83 42.00 -85.65 NaN NaN PUB
1 195904 19 1700 195904 19 1700 NaN 10062668 MISSOURI 29 ... 0 NaN NaN 37.20 -93.40 NaN NaN NaN NaN PUB
2 195905 9 1815 195905 9 1815 NaN 10019293 IOWA 19 ... 0 NaN NaN 41.70 -92.60 41.75 -92.52 NaN NaN PUB
3 195905 4 1835 195905 4 1835 NaN 10118763 TEXAS 48 ... 0 NaN NaN 34.38 -100.18 NaN NaN NaN NaN PUB
4 195904 20 100 195904 20 100 NaN 10124979 TENNESSEE 47 ... 0 NaN NaN 36.28 -88.28 NaN NaN NaN NaN PUB
5 195905 8 1515 195905 8 1515 NaN 10081702 NEW MEXICO 35 ... 0 NaN NaN 34.10 -103.10 34.13 -103.02 NaN NaN PUB
6 195905 9 1800 195905 9 1800 NaN 10094788 OKLAHOMA 40 ... 0 NaN NaN 36.40 -95.80 36.52 -95.77 NaN NaN PUB
7 195909 24 2026 195909 24 2026 NaN 10121045 TEXAS 48 ... 0 NaN NaN 35.20 -101.68 NaN NaN NaN NaN PUB
8 195904 16 1830 195904 16 1830 NaN 10094740 OKLAHOMA 40 ... 0 NaN NaN 35.88 -99.28 NaN NaN NaN NaN PUB
9 195908 1 1600 195908 1 1600 NaN 10009562 IDAHO 16 ... 0 NaN NaN 42.78 -113.58 NaN NaN NaN NaN PUB
10 195905 29 1630 195905 29 1630 NaN 10027877 KANSAS 20 ... 0 NaN NaN 39.37 -100.47 39.47 -100.38 NaN NaN PUB
11 195904 8 630 195904 8 630 NaN 10122990 TEXAS 48 ... 0 NaN NaN 30.10 -95.62 30.15 -95.57 NaN NaN PUB
12 195905 10 1900 195905 10 1900 NaN 10027838 KANSAS 20 ... 0 NaN NaN 39.78 -95.08 NaN NaN NaN NaN PUB
13 195904 16 1630 195904 16 1630 NaN 10026094 KANSAS 20 ... 0 NaN NaN 37.58 -99.90 NaN NaN NaN NaN PUB
14 195907 11 1830 195907 11 1830 NaN 10029003 KANSAS 20 ... 0 NaN NaN 37.38 -101.40 NaN NaN NaN NaN PUB
15 195906 25 1700 195906 25 1700 NaN 10159475 WYOMING 56 ... 0 NaN NaN 44.27 -104.52 NaN NaN NaN NaN PUB
16 195907 25 2130 195907 25 2130 NaN 10080150 NEVADA 32 ... 0 NaN NaN 38.08 -117.08 NaN NaN NaN NaN PUB
17 195908 25 1500 195908 25 1500 NaN 10080151 NEVADA 32 ... 0 NaN NaN 36.08 -115.00 NaN NaN NaN NaN PUB
18 195909 14 1627 195909 14 1627 NaN 10080152 NEVADA 32 ... 0 NaN NaN 40.78 -115.80 NaN NaN NaN NaN PUB
19 195907 18 2100 195907 18 2100 NaN 10080149 NEVADA 32 ... 0 NaN NaN 36.08 -115.18 NaN NaN NaN NaN PUB
20 195903 10 1840 195903 10 1840 NaN 10122111 TEXAS 48 ... 0 NaN NaN 32.58 -96.78 NaN NaN NaN NaN PUB
21 195903 10 1945 195903 10 1945 NaN 10122112 TEXAS 48 ... 0 NaN NaN 32.38 -96.18 NaN NaN NaN NaN PUB
22 195903 10 2000 195903 10 2000 NaN 10122113 TEXAS 48 ... 0 NaN NaN 33.20 -96.18 NaN NaN NaN NaN PUB
23 195903 20 1245 195903 20 1245 NaN 10122114 TEXAS 48 ... 0 NaN NaN 33.43 -96.35 33.58 -96.30 NaN NaN PUB
24 195903 20 1245 195903 20 1245 NaN 10122115 TEXAS 48 ... 0 NaN NaN 33.43 -96.35 33.58 -96.30 NaN NaN PUB
25 195903 20 1345 195903 20 1345 NaN 10122116 TEXAS 48 ... 0 NaN NaN 32.08 -95.00 NaN NaN NaN NaN PUB
26 195905 21 1855 195905 21 1855 NaN 10119874 TEXAS 48 ... 0 NaN NaN 33.00 -99.68 NaN NaN NaN NaN PUB
27 195905 22 705 195905 22 705 NaN 10119875 TEXAS 48 ... 0 NaN NaN 33.37 -101.47 NaN NaN NaN NaN PUB
28 195905 22 1253 195905 22 1253 NaN 10119876 TEXAS 48 ... 0 NaN NaN 34.00 -98.50 NaN NaN NaN NaN PUB
29 195905 22 1514 195905 22 1514 NaN 10119877 TEXAS 48 ... 0 NaN NaN 32.38 -100.00 NaN NaN NaN NaN PUB
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
1783 195907 8 1654 195907 8 1654 NaN 10145500 WISCONSIN 55 ... 0 NaN NaN 45.78 -88.00 NaN NaN NaN NaN PUB
1784 195909 26 1650 195909 26 1650 NaN 10009825 ILLINOIS 17 ... 0 NaN NaN 41.32 -89.13 41.35 -89.03 NaN NaN PUB
1785 195909 26 1700 195909 26 1700 NaN 10009826 ILLINOIS 17 ... 0 NaN NaN 42.20 -88.83 NaN NaN NaN NaN PUB
1786 195909 26 1745 195909 26 1745 NaN 10009827 ILLINOIS 17 ... 0 NaN NaN 41.97 -87.97 42.03 -87.80 NaN NaN PUB
1787 195909 26 1900 195909 26 1900 NaN 10009830 ILLINOIS 17 ... 0 NaN NaN 38.03 -89.38 NaN NaN NaN NaN PUB
1788 195909 26 1930 195909 26 1930 NaN 10009831 ILLINOIS 17 ... 0 NaN NaN 41.65 -88.35 41.68 -88.28 NaN NaN PUB
1789 195909 26 1800 195909 26 1800 NaN 10009828 ILLINOIS 17 ... 0 NaN NaN 42.13 -88.03 42.25 -87.85 NaN NaN PUB
1790 195909 26 1800 195909 26 1800 NaN 10009829 ILLINOIS 17 ... 0 NaN NaN 42.00 -87.90 NaN NaN NaN NaN PUB
1791 195907 12 2130 195907 12 2130 NaN 10081720 NEW MEXICO 35 ... 0 NaN NaN 32.88 -105.90 NaN NaN NaN NaN PUB
1792 195910 13 1830 195910 13 1830 NaN 9995202 GEORGIA 13 ... 0 NaN NaN 34.00 -85.28 NaN NaN NaN NaN PUB
1793 195910 13 1930 195910 13 1930 NaN 9995203 GEORGIA 13 ... 0 NaN NaN 34.08 -83.78 NaN NaN NaN NaN PUB
1794 195909 27 1915 195909 27 1915 NaN 10009832 ILLINOIS 17 ... 0 NaN NaN 41.28 -90.90 NaN NaN NaN NaN PUB
1795 195909 27 2030 195909 27 2030 NaN 10009833 ILLINOIS 17 ... 0 NaN NaN 40.47 -90.60 40.55 -90.45 NaN NaN PUB
1796 195909 27 2300 195909 27 2300 NaN 10009834 ILLINOIS 17 ... 0 NaN NaN 41.78 -87.78 NaN NaN NaN NaN PUB
1797 195909 28 1800 195909 28 1800 NaN 10009835 ILLINOIS 17 ... 0 NaN NaN 40.00 -88.90 NaN NaN NaN NaN PUB
1798 195909 28 1805 195909 28 1805 NaN 10009836 ILLINOIS 17 ... 0 NaN NaN 39.50 -89.40 NaN NaN NaN NaN PUB
1799 195910 8 1530 195910 8 1530 NaN 10009837 ILLINOIS 17 ... 0 NaN NaN 42.33 -88.23 NaN NaN NaN NaN PUB
1800 195910 10 1715 195910 10 1715 NaN 10009838 ILLINOIS 17 ... 0 NaN NaN 38.95 -90.15 39.12 -89.27 NaN NaN PUB
1801 195910 10 1730 195910 10 1730 NaN 10009839 ILLINOIS 17 ... 0 NaN NaN 39.00 -90.40 NaN NaN NaN NaN PUB
1802 195910 10 1745 195910 10 1745 NaN 10009840 ILLINOIS 17 ... 0 NaN NaN 39.08 -89.50 NaN NaN NaN NaN PUB
1803 195910 23 1525 195910 23 1525 NaN 10009841 ILLINOIS 17 ... 0 NaN NaN 42.20 -87.78 NaN NaN NaN NaN PUB
1804 195901 21 425 195901 21 425 NaN 10033677 KENTUCKY 21 ... 0 NaN NaN 37.08 -88.68 NaN NaN NaN NaN PUB
1805 195901 21 1230 195901 21 1230 NaN 10033678 KENTUCKY 21 ... 0 NaN NaN 37.40 -86.62 37.43 -86.50 NaN NaN PUB
1806 195901 21 1300 195901 21 1300 NaN 10033679 KENTUCKY 21 ... 0 NaN NaN 37.88 -86.08 NaN NaN NaN NaN PUB
1807 195901 21 1310 195901 21 1310 NaN 10033680 KENTUCKY 21 ... 0 NaN NaN 37.70 -85.90 NaN NaN NaN NaN PUB
1808 195901 21 1341 195901 21 1341 NaN 10033681 KENTUCKY 21 ... 0 NaN NaN 38.00 -84.50 NaN NaN NaN NaN PUB
1809 195901 21 1400 195901 21 1400 NaN 10033682 KENTUCKY 21 ... 0 NaN NaN 37.50 -83.40 NaN NaN NaN NaN PUB
1810 195902 10 615 195902 10 615 NaN 10033683 KENTUCKY 21 ... 0 NaN NaN 37.70 -87.92 NaN NaN NaN NaN PUB
1811 195902 10 700 195902 10 700 NaN 10033684 KENTUCKY 21 ... 0 NaN NaN 38.78 -84.40 NaN NaN NaN NaN PUB
1812 195907 11 1445 195907 11 1445 NaN 9982010 ARKANSAS 5 ... 0 NaN NaN 35.00 -92.90 NaN NaN NaN NaN PUB

1813 rows × 51 columns

In [ ]: