線形回帰¶
独立同分布の誤差を持つ線形モデル、および不均一分散性または自己相関のある誤差を含む線形モデル。このモジュールは、最小二乗法 (OLS)、重み付き最小二乗法 (WLS)、一般化最小二乗法 (GLS)、および自己回帰 AR(p) 誤差を伴う実行可能な一般化最小二乗法による推定が可能です。
コマンドと引数については モジュールリファレンス を参照してください。
例¶
# Load modules and data
In [1]: import numpy as np
In [2]: import statsmodels.api as sm
In [3]: spector_data = sm.datasets.spector.load()
In [4]: spector_data.exog = sm.add_constant(spector_data.exog, prepend=False)
# Fit and summarize OLS model
In [5]: mod = sm.OLS(spector_data.endog, spector_data.exog)
In [6]: res = mod.fit()
In [7]: print(res.summary())
OLS Regression Results
==============================================================================
Dep. Variable: GRADE R-squared: 0.416
Model: OLS Adj. R-squared: 0.353
Method: Least Squares F-statistic: 6.646
Date: Tue, 28 Jan 2025 Prob (F-statistic): 0.00157
Time: 00:09:13 Log-Likelihood: -12.978
No. Observations: 32 AIC: 33.96
Df Residuals: 28 BIC: 39.82
Df Model: 3
Covariance Type: nonrobust
==============================================================================
coef std err t P>|t| [0.025 0.975]
------------------------------------------------------------------------------
GPA 0.4639 0.162 2.864 0.008 0.132 0.796
TUCE 0.0105 0.019 0.539 0.594 -0.029 0.050
PSI 0.3786 0.139 2.720 0.011 0.093 0.664
const -1.4980 0.524 -2.859 0.008 -2.571 -0.425
==============================================================================
Omnibus: 0.176 Durbin-Watson: 2.346
Prob(Omnibus): 0.916 Jarque-Bera (JB): 0.167
Skew: 0.141 Prob(JB): 0.920
Kurtosis: 2.786 Cond. No. 176.
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
詳細な例は次の場所にあります :
技術文書¶
統計モデルは次のように仮定されます
\(Y = X\beta + \epsilon\), where \(\epsilon\sim N\left(0,\Sigma\right).\)
\(\Sigma\), の特性に応じた、現在4つのクラスが使用可能です :
GLS : 任意の共分散 \(\Sigma\) に対する一般化最小二乗法
OLS : 独立同分布（i.i.d.）の誤差 \(\Sigma=\textbf{I}\) に対する最小二乗法
WLS : 不均一分散誤差 \(\text{diag}\left (\Sigma\right)\) に対する重み付き最小二乗法
GLSAR : 自己相関 AR(p) 誤差 \(\Sigma=\Sigma\left(\rho\right)\) を持つ実現可能な一般化最小二乗法
すべての回帰モデルは、同じメソッドを定義し、同じ構造に従い、同様の方法で使用できます。それらのいくつかには、追加のモデル固有のメソッドと属性が含まれています。
GLSはRecursiveLS、RollingWLS、RollingOLSを除く他の回帰クラスのスーパークラスです。
参考文献¶
回帰モデルの一般的なリファレンス :
D.C. Montgomery and E.A. Peck著 "Introduction to Linear Regression Analysis" 第2版、Wiley、1992年。
回帰モデルに関する計量経済学の参考文献 :
R.Davidson and J.G. MacKinnon著 "Econometric Theory and Methods" 、Oxford、2004年。
W.Green. "Econometric Analysis," 第5版、Pearson、2003年。
属性¶
以下は、ほとんどすべての回帰クラスに共通する属性のより詳細な説明です
- pinv_wexogarray
ホワイト化されたデザイン行列の p x n Moore-Penrose 疑似逆行列です。これは \(\left(X^{T}\Sigma^{-1}X\right)^{-1}X^{T}\Psi\) とほぼ同じです。ここで \(\Psi\) は \(\Psi\Psi^{T}=\Sigma^{-1}\) と定義されます。
- cholsimgainvarray
\(\Psi\Psi^{T}=\Sigma^{-1}\) を満たす n x n 上三角行列 \(\Psi^{T}\) です。
- df_modelfloat
モデルの自由度。これは p - 1 に等しくなります。ここで、 p は回帰変数の数です。ここでは、切片は自由度を使用するものとしてカウントされないことに注意してください。
- df_residfloat
残りの自由度。これは n - p に等しくなります。ここで、 n は観測値の数、 p はパラメータの数です。ここでは、切片は自由度を使用するものとしてカウントされることに注意してください。
- llffloat
適合したモデルの尤度関数の値。
- nobsfloat
観測の数`n`
- normalized_cov_paramsarray
\((X^{T}\Sigma^{-1}X)^{-1}\) と等しい p x p 配列。
- sigmaarray
誤差項の n`x`n 共分散行列 :\(\mu\sim N\left(0,\Sigma\right)\) 。
- wexogarray
ホワイト化されたデザイン行列 \(\Psi^{T}X\) 。
- wendogarray
ホワイト化された応答変数 \(\Psi^{T}Y\) 。
モジュールリファレンス¶
モデルクラス¶
|
最小二乗法 |
|
一般化最小二乗法 |
|
重み付き最小二乗法 |
|
AR共分散構造を持つ一般化最小二乗法 |
|
Yule-Walker方程式を用いてシーケンスからAR(p)パラメータを推定する。 |
|
Burg の AP(p) パラメータ推定量を計算する。 |
|
分位点回帰 |
|
再帰的最小二乗法 |
|
ローリング加重最小二乗法 |
|
ローリング最小二乗法 |
ガウス カーネルを使用した ProcessCovariance の実装。 |
|
|
ガウス平均/分散回帰モデルを当てはめる。 |
|
スライスされた逆回帰 (SIR) |
|
主ヘシアン方向(PHD) |
|
スライスされた平均分散推定 (SAVE) |
結果クラス¶
線形回帰モデルを近似すると、結果クラスが返されます。 OLS には、他の線形モデルの結果クラスと比較して、いくつかの追加メソッドを備えた特定の結果クラスがあります。
|
このクラスは、線形回帰モデルの適合を要約します。 |
|
OLS モデルの結果クラス。 |
|
予測の結果クラス。 |
|
正則化を使用して推定されたモデルの結果 |
|
QuantReg モデルの結果インスタンス |
|
再帰的最小二乗モデルの近似結果を保持するクラス。 |
|
ローリング回帰の結果 |
|
ガウス過程回帰モデルの結果クラス。 |
|
次元削減回帰の結果クラス。 |