import h2o
h2o.init()
H2O cluster uptime: | 33 seconds 365 milliseconds |
H2O cluster version: | 3.7.0.99999 |
H2O cluster name: | spIdea |
H2O cluster total nodes: | 1 |
H2O cluster total free memory: | 12.42 GB |
H2O cluster total cores: | 8 |
H2O cluster allowed cores: | 8 |
H2O cluster healthy: | True |
H2O Connection ip: | 127.0.0.1 |
H2O Connection port: | 54321 |
H2O Connection proxy: | None |
Python Version: | 3.5.0 |
from h2o.utils.shared_utils import _locate # private function. used to find files within h2o git project directory.
air = h2o.upload_file(_locate("smalldata/airlines/allyears2k_headers.zip"))
Parse Progress: [##################################################] 100%
air.dim
[43978, 31]
numNAs = air["DepTime"].isna().sum()
print(numNAs)
1086.0
DepTime_mean = air["DepTime"].mean(na_rm=True)
print(DepTime_mean)
[1345.846661382077]
air.impute("DepTime", method = "median", combine_method="low")
numNAs = air["DepTime"].isna().sum()
print(numNAs)
1086.0
air = h2o.upload_file(_locate("smalldata/airlines/allyears2k_headers.zip"))
Parse Progress: [##################################################] 100%
air.impute("DepTime", method = "mean", by = ["Origin", "Distance"])
Year | Month | DayofMonth | DayOfWeek | DepTime | CRSDepTime | ArrTime | CRSArrTime | UniqueCarrier | FlightNum | TailNum | ActualElapsedTime | CRSElapsedTime | AirTime | ArrDelay | DepDelay | Origin | Dest | Distance | TaxiIn | TaxiOut | Cancelled | CancellationCode | Diverted | CarrierDelay | WeatherDelay | NASDelay | SecurityDelay | LateAircraftDelay | IsArrDelayed | IsDepDelayed |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1987 | 10 | 14 | 3 | 741 | 730 | 912 | 849 | PS | 1451 | NA | 91 | 79 | nan | 23 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 15 | 4 | 729 | 730 | 903 | 849 | PS | 1451 | NA | 94 | 79 | nan | 14 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 17 | 6 | 741 | 730 | 918 | 849 | PS | 1451 | NA | 97 | 79 | nan | 29 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 18 | 7 | 729 | 730 | 847 | 849 | PS | 1451 | NA | 78 | 79 | nan | -2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 19 | 1 | 749 | 730 | 922 | 849 | PS | 1451 | NA | 93 | 79 | nan | 33 | 19 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 21 | 3 | 728 | 730 | 848 | 849 | PS | 1451 | NA | 80 | 79 | nan | -1 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 22 | 4 | 728 | 730 | 852 | 849 | PS | 1451 | NA | 84 | 79 | nan | 3 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 23 | 5 | 731 | 730 | 902 | 849 | PS | 1451 | NA | 91 | 79 | nan | 13 | 1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 24 | 6 | 744 | 730 | 908 | 849 | PS | 1451 | NA | 84 | 79 | nan | 19 | 14 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 25 | 7 | 729 | 730 | 851 | 849 | PS | 1451 | NA | 82 | 79 | nan | 2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
air = h2o.upload_file(_locate("smalldata/airlines/allyears2k_headers.zip"))
Parse Progress: [##################################################] 100%
air.impute("TailNum", method = "mode")
Year | Month | DayofMonth | DayOfWeek | DepTime | CRSDepTime | ArrTime | CRSArrTime | UniqueCarrier | FlightNum | TailNum | ActualElapsedTime | CRSElapsedTime | AirTime | ArrDelay | DepDelay | Origin | Dest | Distance | TaxiIn | TaxiOut | Cancelled | CancellationCode | Diverted | CarrierDelay | WeatherDelay | NASDelay | SecurityDelay | LateAircraftDelay | IsArrDelayed | IsDepDelayed |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1987 | 10 | 14 | 3 | 741 | 730 | 912 | 849 | PS | 1451 | NA | 91 | 79 | nan | 23 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 15 | 4 | 729 | 730 | 903 | 849 | PS | 1451 | NA | 94 | 79 | nan | 14 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 17 | 6 | 741 | 730 | 918 | 849 | PS | 1451 | NA | 97 | 79 | nan | 29 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 18 | 7 | 729 | 730 | 847 | 849 | PS | 1451 | NA | 78 | 79 | nan | -2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 19 | 1 | 749 | 730 | 922 | 849 | PS | 1451 | NA | 93 | 79 | nan | 33 | 19 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 21 | 3 | 728 | 730 | 848 | 849 | PS | 1451 | NA | 80 | 79 | nan | -1 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 22 | 4 | 728 | 730 | 852 | 849 | PS | 1451 | NA | 84 | 79 | nan | 3 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 23 | 5 | 731 | 730 | 902 | 849 | PS | 1451 | NA | 91 | 79 | nan | 13 | 1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 24 | 6 | 744 | 730 | 908 | 849 | PS | 1451 | NA | 84 | 79 | nan | 19 | 14 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 25 | 7 | 729 | 730 | 851 | 849 | PS | 1451 | NA | 82 | 79 | nan | 2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
air = h2o.upload_file(_locate("smalldata/airlines/allyears2k_headers.zip"))
Parse Progress: [##################################################] 100%
air.impute("TailNum", method = "mode", by=["Month", "Year"])
Year | Month | DayofMonth | DayOfWeek | DepTime | CRSDepTime | ArrTime | CRSArrTime | UniqueCarrier | FlightNum | TailNum | ActualElapsedTime | CRSElapsedTime | AirTime | ArrDelay | DepDelay | Origin | Dest | Distance | TaxiIn | TaxiOut | Cancelled | CancellationCode | Diverted | CarrierDelay | WeatherDelay | NASDelay | SecurityDelay | LateAircraftDelay | IsArrDelayed | IsDepDelayed |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1987 | 10 | 14 | 3 | 741 | 730 | 912 | 849 | PS | 1451 | NA | 91 | 79 | nan | 23 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 15 | 4 | 729 | 730 | 903 | 849 | PS | 1451 | NA | 94 | 79 | nan | 14 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 17 | 6 | 741 | 730 | 918 | 849 | PS | 1451 | NA | 97 | 79 | nan | 29 | 11 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 18 | 7 | 729 | 730 | 847 | 849 | PS | 1451 | NA | 78 | 79 | nan | -2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 19 | 1 | 749 | 730 | 922 | 849 | PS | 1451 | NA | 93 | 79 | nan | 33 | 19 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 21 | 3 | 728 | 730 | 848 | 849 | PS | 1451 | NA | 80 | 79 | nan | -1 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | NO | NO |
1987 | 10 | 22 | 4 | 728 | 730 | 852 | 849 | PS | 1451 | NA | 84 | 79 | nan | 3 | -2 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |
1987 | 10 | 23 | 5 | 731 | 730 | 902 | 849 | PS | 1451 | NA | 91 | 79 | nan | 13 | 1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 24 | 6 | 744 | 730 | 908 | 849 | PS | 1451 | NA | 84 | 79 | nan | 19 | 14 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | YES |
1987 | 10 | 25 | 7 | 729 | 730 | 851 | 849 | PS | 1451 | NA | 82 | 79 | nan | 2 | -1 | SAN | SFO | 447 | nan | nan | 0 | NA | 0 | nan | nan | nan | nan | nan | YES | NO |