跳转到主内容
websoft网络软件专家 - 深耕网络技术,打造实用软件!

机器学习(二)线性回归、多项式回归、多元回归

文章目录 一、线性回归 二、多项式回归 三、多元回归 一、线性回归 简介:线性回归使用数据点之间的关系在所有数据点之间画一条之线,这条直线可以预测未来的值。

可以借助scipy绘制线性回归线。

from scipy import stats

import matplotlib.pyplot as plt

x = [1,2,3,4,5,6,7,8,9,10] y = [2,4,6,9,10,16,14,18,20,23]

slope,intercept,r,p,std_err = stats.linregress(x,y) #slope 是线性回归线的 斜率, intercept 是 线性回归线的截距, r 是衡量拟合性能度量

def func(x): return slope*x+intercept

mymodel = list(map(func,x))

plt.plot(x,mymodel) plt.scatter(x,y) plt.show()

其中,x轴和y轴的值关系越好,预测的就越准,该关系用一个称为 R-平方(R-Squared)的值来度量。

也就是 stats.linregress()的第三个返回值。

一般情况下 0 slope,intercept,r,p,std_err = stats.linregress(x,y) #slope 是线性回归线的 斜率, intercept 是 线性回归线的截距, r 是衡量拟合性能度量

print(r)

0.9873471343672663 #说明拟合的好

二、多项式回归 若数据点显然不符合线性回归,可以考虑多项式回归。

和线性回归一样,多项式回归使用变量x和变量y之间的关系来找到绘制数据点的关系。

常用numpy.poly1d(numpy.polyfit(x,y,number)绘制多项式回归线。

import numpy

import matplotlib.pyplot as plt

x = [1,2,3,5,6,7,8,9,10,12,13,14,15,16,18,19,21,22] y = [100,90,80,60,60,55,60,65,70,70,75,76,78,79,90,99,99,100]

mymodel = numpy.poly1d(numpy.polyfit(x, y, 3)) # 3是最高项次数 print(numpy.polyfit(x,y,3)) #目的是得到 多项式的系数 myline = numpy.linspace(1, 22, 100) print(mymodel) plt.scatter(x, y) plt.plot(myline, mymodel(myline)) plt.show()

[-3.03208795e-02 1.34333191e+00 -1.55383039e+01 1.13768037e+02] 3 2 -0.03032 x + 1.343 x - 15.54 x + 113.8

同样的,和线性回归相似,有关系 R-Squared 值度量拟合关系如何。

使用skelearn.metrics 中的 r2_score()方法

import numpy

import matplotlib.pyplot as plt from sklearn.metrics import r2_score # r2_score

x = [1,2,3,5,6,7,8,9,10,12,13,14,15,16,18,19,21,22] y = [100,90,80,60,60,55,60,65,70,70,75,76,78,79,90,99,99,100]

mymodel = numpy.poly1d(numpy.polyfit(x, y, 3)) print(numpy.polyfit(x,y,3)) myline = numpy.linspace(1, 22, 100) print(mymodel) print(r2_score(y,mymodel(x))) # 输出 r2_score

plt.scatter(x, y) plt.plot(myline, mymodel(myline)) plt.show()

0.9432150416451027 #拟合很不错

三、多元回归 多元回归就像线性回归一样,但需要有多个独立值,即 使用多个变量来预测一个值。

可以使用sklearn.linear_model.LinearRegression()方法 在 sklearn 模块中,使用 LinearRegression() 方法创建一个线性回归对象,该对象有一个 fit() 方法,该方法将独立值和从属值作为参数。

import pandas

from sklearn import linear_model import numpy

df = pandas.read_csv("cars.csv") #print(df)

X = df[["Weight","Volume"]] y = df["CO2"]

regr = linear_model.LinearRegression()#关键代码

regr.fit(X,y) #进行拟合

print("拟合评价",regr.score(X,y))#相关关系 print("关系系数",regr.coef_) # y = k1*x1+k2*x2系数 predict_co2 = regr.predict([[2300,1300]]) print("预测值",predict_co2)

#out 拟合评价 0.3765564043619988 关系系数 [0.00755095 0.00780526] 预测值 [107.2087328]

相关文章