Notebook

In [1]:

# imports
from sqlalchemy import create_engine, Column, String, Integer, Float, Date, MetaData, Table, type_coerce
from sqlalchemy.orm import mapper, create_session
import csv
from sqlalchemy import case
import numpy as np
from sqlalchemy.ext.automap import automap_base
import matplotlib.pyplot as plt
import sqlalchemy.types as types
import numbers
from sqlalchemy.sql import and_, or_, not_
from sqlalchemy.sql import select
import datetime as dt
%matplotlib inline

In [2]:

# definitions
file1='/ocean/eolson/MEOPAR/obs/BioChem/BioChem_Query_1610/BioChem_Query_1610_Data.csv'

In [3]:

engine = create_engine('sqlite:////ocean/eolson/MEOPAR/obs/BioChem/BioChemQueryDB.sqlite')

In [4]:

table = None
metadata = MetaData(bind=engine)

In [5]:

class forceNumeric(types.TypeDecorator):

    impl = types.Float

    def process_bind_param(self, value, dialect):
        try:
            int(float(value))
        except:
            value = None
        return value

class forceInt(types.TypeDecorator):
    
    impl = types.Integer
    def process_bind_param(self, value, dialect):
        try:
            int(value)
        except:
            value = None
        return value
    
class toDate(types.TypeDecorator):
    
    impl = types.Date
    def process_bind_param(self, value, dialect):
        try:
            #monDict={'Jan':1,'Feb':2,'Mar':3,'Apr':4, 'May':5, 'Jun':6,
            #         'Jul':7,'Aug':8,'Sep':9,'Oct':10,'Nov':11,'Dec':12}
            monDict={'Jan':'01','Feb':'02','Mar':'03','Apr':'04', 'May':'05', 'Jun':'06',
                     'Jul':'07','Aug':'08','Sep':'09','Oct':'10','Nov':'11','Dec':'12'}
            year=value[-4:]
            month=monDict[value[-8:-5]]
            day=value[0:2]
            value=dt.date(int(year),int(month), int(day))
        except:
            value = None
        return value

class toHour(types.TypeDecorator):
    
    impl = types.Float
    def process_bind_param(self, value, dialect):
        try:
            mm=float(value[-2:])
            hh=float(value[0:-2])
            value=hh+mm/60.0
        except:
            value = None
        return value

In [6]:

def coltype(ikey):
    typedict = {
        'DATA_CENTER': String(),
        'DESCRIPTOR-NAME': String(),
        'AREA_NAME': String(),
        'COLLECTOR_STATION_NAME': String(),
        'START_DATE': toDate(),
        'START_TIME': toHour(),
        'COLLECTOR_DEPLOYMENT_ID': String(),
        'GEAR_MODEL (GEAR_SIZE)': String(),
        'Silicate_datatype': String(),
        'Phosphate_datatype': String(),
        'Nitrate_datatype': String(),
    }
    return typedict.get(ikey, forceNumeric())
    

In [7]:

with open(file1) as f:
    cf = csv.DictReader(f, delimiter=',')
    for row in cf:
        if table is None:
            table = Table('profiles', metadata, Column('id', Integer, primary_key=True),
                *(Column(rowname, coltype(rowname)) for rowname in row.keys()))
            table.create()
        table.insert().values(**row).execute()
class Profs(object): pass
mapper(Profs, table)

Out[7]:

<Mapper at 0x7f44d33465f8; Profs>

In [8]:

Base = automap_base()
# reflect the tables in salish.sqlite:
Base.prepare(engine, reflect=True)
# mapped classes have been created
Profs=Base.classes.profiles
session = create_session(bind = engine, autocommit = False, autoflush = True)

In [9]:

print(row.keys())

dict_keys(['Silicate', 'DESCRIPTOR-NAME', 'COLLECTOR_SAMPLE_ID', 'END_DEPTH', 'START_TIME', 'Silicate_qcCode', 'QRY_NO', 'Nitrate_datatype', 'COLLECTOR_EVENT_ID', 'Silicate_datatype', 'DATA_CENTER', 'SOUNDING', 'Phosphate_qcCode', 'COLLECTOR (RESPONSIBLE_GROUP)', 'Phosphate', 'COLLECTOR_DEPLOYMENT_ID', 'START_DEPTH', 'Phosphate_datatype', 'START_LON', 'GEAR_MODEL (GEAR_SIZE)', 'Nitrate', 'COLLECTOR_STATION_NAME', 'START_DATE', 'START_LAT', 'Nitrate_qcCode', 'AREA_NAME'])

In [11]:

data=session.query(Profs.START_DATE,Profs.START_TIME, Profs.START_DEPTH,Profs.START_LAT,Profs.START_LON, 
                  Profs.Nitrate, Profs.Silicate, Profs.Phosphate
                  ).filter(or_(
                           Profs.Nitrate != None,
                           Profs.Phosphate != None,
                           Profs.Silicate != None,
                          )).all()
for row in data:
    print(row)

(datetime.date(2009, 5, 2), 2.15, 174.14, 48.65333, -123.50667, None, 96.2, 3.72)
(datetime.date(2009, 5, 2), 2.15, 5.06, 48.65333, -123.50667, 0.3, 3.1, 0.37)
(datetime.date(2009, 5, 2), 2.15, 0.89, 48.65333, -123.50667, 1.1, 4.0, 0.33)
(datetime.date(2009, 5, 2), 2.15, 149.37, 48.65333, -123.50667, None, 97.9, 4.75)
(datetime.date(2009, 5, 2), 2.15, 124.3, 48.65333, -123.50667, 19.1, 77.5, 3.28)
(datetime.date(2009, 5, 2), 2.15, 99.92, 48.65333, -123.50667, 26.5, 62.8, 2.18)
(datetime.date(2009, 5, 2), 2.15, 74.55, 48.65333, -123.50667, 28.7, 59.0, 2.52)
(datetime.date(2009, 5, 2), 2.15, 49.67, 48.65333, -123.50667, 26.3, 47.7, 2.38)
(datetime.date(2009, 5, 2), 2.15, 30.44, 48.65333, -123.50667, 17.8, 29.7, 1.84)
(datetime.date(2009, 5, 5), 19.666666666666668, 109.74, 48.65333, -123.505, 26.1, 65.4, 2.37)
(datetime.date(2009, 5, 5), 19.666666666666668, 89.72, 48.65333, -123.505, 22.4, 85.2, 2.54)
(datetime.date(2009, 5, 5), 19.666666666666668, 30.04, 48.65333, -123.505, 18.1, 32.4, 1.68)
(datetime.date(2009, 5, 5), 19.666666666666668, 10.51, 48.65333, -123.505, 15.4, 27.5, 1.61)
(datetime.date(2009, 5, 5), 19.666666666666668, 5.26, 48.65333, -123.505, 13.6, 26.8, 1.48)
(datetime.date(2009, 5, 6), 15.616666666666667, 178.7, 48.65167, -123.505, None, 97.7, 4.61)
(datetime.date(2009, 5, 6), 15.616666666666667, 148.98, 48.65167, -123.505, None, 85.2, 5.24)
(datetime.date(2009, 5, 6), 15.616666666666667, 124.4, 48.65167, -123.505, 13.7, 70.5, 3.87)
(datetime.date(2009, 5, 6), 15.616666666666667, 99.33, 48.65167, -123.505, 25.8, 63.4, 3.01)
(datetime.date(2009, 5, 6), 15.616666666666667, 74.45, 48.65167, -123.505, 25.8, 58.2, 2.62)
(datetime.date(2009, 5, 6), 15.616666666666667, 49.57, 48.65167, -123.505, 21.0, 39.8, 2.1)
(datetime.date(2009, 5, 6), 15.616666666666667, 30.24, 48.65167, -123.505, 15.3, 27.7, 1.83)
(datetime.date(2009, 5, 6), 15.616666666666667, 20.03, 48.65167, -123.505, 13.3, 25.0, 1.67)
(datetime.date(2009, 5, 6), 15.616666666666667, 9.92, 48.65167, -123.505, 12.5, 18.2, 1.57)
(datetime.date(2009, 5, 6), 15.616666666666667, 5.26, 48.65167, -123.505, 11.5, 18.8, 1.47)
(datetime.date(2009, 5, 6), 15.616666666666667, 2.08, 48.65167, -123.505, 11.7, 20.0, 1.45)
(datetime.date(2009, 5, 2), 13.166666666666666, 211.69, 48.63, -123.245, None, 43.2, 1.55)
(datetime.date(2009, 5, 2), 13.166666666666666, 158.09, 48.63, -123.245, None, 38.9, 1.89)
(datetime.date(2009, 5, 2), 13.166666666666666, 126.98, 48.63, -123.245, 23.2, 38.3, 2.06)
(datetime.date(2009, 5, 2), 13.166666666666666, 100.72, 48.63, -123.245, 19.8, 33.9, 1.89)
(datetime.date(2009, 5, 2), 13.166666666666666, 74.45, 48.63, -123.245, 22.1, 37.6, 2.05)
(datetime.date(2009, 5, 2), 13.166666666666666, 50.27, 48.63, -123.245, 21.3, 36.5, 1.8)
(datetime.date(2009, 5, 2), 13.166666666666666, 30.64, 48.63, -123.245, 21.0, 36.4, 1.87)
(datetime.date(2009, 5, 2), 13.166666666666666, 20.33, 48.63, -123.245, 20.8, 36.1, 2.0)
(datetime.date(2009, 5, 2), 13.166666666666666, 10.51, 48.63, -123.245, 20.5, 36.2, 1.77)
(datetime.date(2009, 5, 2), 13.166666666666666, 5.06, 48.63, -123.245, 19.9, 35.0, 1.81)
(datetime.date(2009, 5, 2), 13.166666666666666, 1.69, 48.63, -123.245, 19.7, 37.0, 1.69)
(datetime.date(2009, 5, 3), 16.5, 177.41, 48.65333, -123.505, None, 103.4, 4.12)
(datetime.date(2009, 5, 3), 16.5, 177.41, 48.65333, -123.505, None, 103.4, 4.12)
(datetime.date(2009, 5, 3), 16.5, 149.17, 48.65333, -123.505, None, 97.8, 4.62)
(datetime.date(2009, 5, 3), 16.5, 149.17, 48.65333, -123.505, None, 97.8, 4.62)
(datetime.date(2009, 5, 3), 16.5, 124.1, 48.65333, -123.505, 1.6, 8.0, 3.0)
(datetime.date(2009, 5, 3), 16.5, 124.1, 48.65333, -123.505, 1.6, 8.0, 3.0)
(datetime.date(2009, 5, 3), 16.5, 99.33, 48.65333, -123.505, 25.2, 68.8, 3.42)
(datetime.date(2009, 5, 3), 16.5, 99.33, 48.65333, -123.505, 25.2, 68.8, 3.42)
(datetime.date(2009, 5, 3), 16.5, 74.65, 48.65333, -123.505, 27.7, 58.9, 2.76)
(datetime.date(2009, 5, 3), 16.5, 74.65, 48.65333, -123.505, 27.7, 58.9, 2.76)
(datetime.date(2009, 5, 3), 16.5, 49.67, 48.65333, -123.505, 24.5, 44.9, 1.97)
(datetime.date(2009, 5, 3), 16.5, 49.67, 48.65333, -123.505, 24.5, 44.9, 1.97)
(datetime.date(2009, 5, 3), 16.5, 30.14, 48.65333, -123.505, 18.5, 30.7, 1.91)
(datetime.date(2009, 5, 3), 16.5, 30.14, 48.65333, -123.505, 18.5, 30.7, 1.91)
(datetime.date(2009, 5, 3), 16.5, 20.03, 48.65333, -123.505, 16.6, 24.6, 1.88)
(datetime.date(2009, 5, 3), 16.5, 20.03, 48.65333, -123.505, 16.6, 24.6, 1.88)
(datetime.date(2009, 5, 3), 16.5, 10.21, 48.65333, -123.505, 6.4, 5.8, 0.99)
(datetime.date(2009, 5, 3), 16.5, 10.21, 48.65333, -123.505, 6.4, 5.8, 0.99)
(datetime.date(2009, 5, 3), 16.5, 5.35, 48.65333, -123.505, 1.1, 3.4, 0.58)
(datetime.date(2009, 5, 3), 16.5, 5.35, 48.65333, -123.505, 1.1, 3.4, 0.58)
(datetime.date(2009, 5, 3), 16.5, 1.19, 48.65333, -123.505, 1.4, 3.4, 0.58)
(datetime.date(2009, 5, 3), 16.5, 1.19, 48.65333, -123.505, 1.4, 3.4, 0.58)
(datetime.date(2009, 5, 4), 21.316666666666666, 177.91, 48.65333, -123.505, None, 108.1, 4.89)
(datetime.date(2009, 5, 4), 21.316666666666666, 149.27, 48.65333, -123.505, None, 103.5, 4.47)
(datetime.date(2009, 5, 4), 21.316666666666666, 124.3, 48.65333, -123.505, 17.7, 80.6, 3.49)
(datetime.date(2009, 5, 4), 21.316666666666666, 99.83, 48.65333, -123.505, 26.4, 62.3, 2.3)
(datetime.date(2009, 5, 4), 21.316666666666666, 74.75, 48.65333, -123.505, 27.9, 58.0, 2.73)
(datetime.date(2009, 5, 4), 21.316666666666666, 50.07, 48.65333, -123.505, 26.1, 48.0, 2.12)
(datetime.date(2009, 5, 4), 21.316666666666666, 30.34, 48.65333, -123.505, 18.2, 31.6, 1.95)
(datetime.date(2009, 5, 4), 21.316666666666666, 20.33, 48.65333, -123.505, 16.1, 27.6, 1.63)
(datetime.date(2009, 5, 4), 21.316666666666666, 10.71, 48.65333, -123.505, 6.4, 6.9, 1.04)
(datetime.date(2009, 5, 4), 21.316666666666666, 5.65, 48.65333, -123.505, 3.6, 11.8, 0.72)
(datetime.date(2009, 5, 4), 21.316666666666666, 1.49, 48.65333, -123.505, 3.8, 10.8, 0.8)
(datetime.date(2009, 5, 5), 17.666666666666668, 179.79, 48.65333, -123.505, None, 110.5, 5.01)
(datetime.date(2009, 5, 5), 17.666666666666668, 173.84, 48.65333, -123.505, None, 109.5, 5.09)
(datetime.date(2009, 5, 5), 17.666666666666668, 162.75, 48.65333, -123.505, None, 104.1, 4.76)
(datetime.date(2009, 5, 5), 17.666666666666668, 149.97, 48.65333, -123.505, None, 98.6, 4.25)
(datetime.date(2009, 5, 5), 17.666666666666668, 129.85, 48.65333, -123.505, 12.8, 87.6, 4.4)

In [12]:

session.close()
engine.dispose()

In [ ]: