数据学习总结"/>
大数据学习总结
一、(机器学习/深度学习)开发流程:
1.问题:
分析问题,选择算法
2.算法选择:
y = ax + bx + c
3.训练和测试
trainingData 求(权重,便宜量):a,b,c
testData 测试求得算法能否解决问题
一般来说测试集和数据集都是给好的。
4.应用算法->分析数据->提取有价值数据
5.结果表示
机器学习一般需要好几个算法解决一个问题。
深度学习一般一个算法就能搞定。
模型保存
model.save(’./keras_mnist.h5’)
二、大数据程序员编码主要职责:
1.根据业务先择Model(模型)
一般选用ImageNet大赛中表现优异的模型
2.训练模型(如果,训练数据不够好,还有可能追加训练数据)
3.利用损失函数(loss function)评估模型的预测值f(x)与真实值Y的不一致程度
4.如果损失函数过高需要调整参数和优化模型
5.如果实时性或者内存要求的,还要提高检测时间或者精简模型,减少内存占用
更多推荐
大数据学习总结
发布评论