掌握好, 不管是从事就业活动还是开展副业以获取收入都较为可观, 然而要做到学会它, 仍旧是需要拥有一份学习规划的。最终大家分享一套完整的, 学习方面利用的资料, 给予那些渴望学习的, 小伙伴们些许助力一、所有方向的学习路线把常用技术点加以整理, 形成各个领域知识点汇总, 这便是所有方向路线, 其用处在于, 你能够依据上面的知识点去寻觅对应的学习资源, 确保自己学得相对全面。二、学习软件要想器物精良以便事情做得完善, 工具首先务必使其锐利。那些通用的用于开发的软件都在这儿, 为众人省却了诸多时间。三、全套PDF电子书益处在于权威以及体系完善的书籍, 于刚开始学习之际, 你能够经由仅观看视频或者聆听某人授课, 然而在学完之后, 你自认为已然掌握, 此时建议还是应当去翻阅一下书籍, 阅读权威技术书籍亦是每位程序员必然要经历的途径。四、入门学习视频在我们通过看视频展开学习之际, 绝不能够只是单纯地动眼睛、动脑子, 却不付诸行动, 较为科学的学习方式是于理解之后对所学内容加以运用, 而在这个阶段, 那些用于练习动手能力的项目便显得极为合适了。五、实战案例只用光学理论是不行的, 得跟着一块儿敲, 要动手去实际操作, 才能把自己学的用到实际里, 这时弄些实战案例来学。六、面试资料于我们而言, 学习必然是旨在寻觅到有着高薪待遇的工作, 下述这么一些面试考察题目呈现自互联网领域处于一线城市头部、具较高影响力的大厂, 其所涵盖的是为最新的面试相关资料, 就其中内容还获取到来自阿里的资深专业人士给出的具备权威性的解答, 当刷完这一整套面试资料后, 相信参与人员都将会寻获得令人感到满意的那工作。网上有着数量众多的学习资料, 然而要是所学到的知识并未形成体系, 碰到问题的时候仅仅是略微尝试一下就停止, 不再进一步深入探究, 如此一来就很难达成真正的技术提升。需要这份系统化学习资料的朋友可以戳这里获取一个人能够行进得颇为迅速, 然而一众人才能够前行得更为长远不管你是正投身于 IT 行业的资深者, 还是对 IT 行业怀有兴趣的初涉者, 均欢迎加入我们的圈子涵盖技术交流、学习资源、职场吐槽、大厂内推、面试辅导, 以使我们一同学习进步1import numpy as np 2from sklearn.model_selection import train_test_split 3from sklearn.neighbors import KNeighborsClassifier 4# NOTE: Make sure that the class is labeled class in the data file 5tpot_data np.recfromcsv(PATH/TO/DATA/FILE, delimiterCOLUMN_SEPARATOR, dtypenp.float64) 6features np.delete(tpot_data.view(np.float64).reshape(tpot_data.size, -1), tpot_data.dtype.names.index(class), axis1) 7training_features, testing_features, training_classes, testing_classes 8 train_test_split(features, tpot_data[class], random_state42) 9exported_pipeline KNeighborsClassifier(n_neighbors4, p2, weightsdistance) 10exported_pipeline.fit(training_features, training_classes) 11results exported_pipeline.predict(testing_features)5. SHAP ——一个解释任何机器模型输出的统一方法想要对机器学习模型做出解释并非易事, 不过, 它对于诸多商业应用程序而言极为重要, 所幸, 存在一些相当出色的库能够助力我们达成此项任务, 在众多应用程序里, 我们得知晓、明白或是证实输入变量于模型当中的运行方式, 以及它们怎样对最终的模型预测产生影响。一种用于解释任何机器学习模型输出的统一方法是SHAP, 它把博弈论与局部解释联系起来, 还结合了之前的几种方法。安装SHAP可以从PyPI安装pip install shap或conda -forgeconda install -c conda-forge shap用法存在着诸多不一样的模型以及方法能够运用这个包, 在此处, 我会就其中一个示例当作例子。Deep SHAP, 是深度学习模型里, 一种关于SHAP值的, 高速近似算式, 它是凭借与的关联, 像SHAP的NIPS论文所记述的那样()。从下面这个例子当中, 能够看到SHAP是怎样被用以解释MNIST数据集的Keras模型结果的:# this is the code from https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten from keras.layers import Conv2D, MaxPooling2D from keras import backend as K batch_size 128 num_classes 10 epochs 12 # input image dimensions img_rows, img_cols 28, 28 # the data, split between train and test sets (x_train, y_train), (x_test, y_test) mnist.load_data() if K.image_data_format() channels_first: x_train x_train.reshape(x_train.shape[0], 1, img_rows, img_cols) x_test x_test.reshape(x_test.shape[0], 1, img_rows, img_cols) input_shape (1, img_rows, img_cols) else: x_train x_train.reshape(x_train.shape[0], img_rows, img_cols, 1) x_test x_test.reshape(x_test.shape[0], img_rows, img_cols, 1) input_shape (img_rows, img_cols, 1) x_train x_train.astype(float32) x_test x_test.astype(float32) x_train / 255 x_test / 255 print(x_train shape:, x_train.shape) print(x_train.shape[0], train samples) print(x_test.shape[0], test samples) # convert class vectors to binary class matrices y_train keras.utils.to_categorical(y_train, num_classes) y_test keras.utils.to_categorical(y_test, num_classes) model Sequential() model.add(Conv2D(32, kernel_size(3, 3), activationrelu, input_shapeinput_shape)) model.add(Conv2D(64, (3, 3), activationrelu)) model.add(MaxPooling2D(pool_size(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activationrelu)) model.add(Dropout(0.5)) model.add(Dense(num_classes, activationsoftmax)) model.compile(losskeras.losses.categorical_crossentropy, optimizerkeras.optimizers.Adadelta(), metrics[accuracy]) model.fit(x_train, y_train, batch_sizebatch_size, epochsepochs, verbose1, validation_data(x_test, y_test)) score model.evaluate(x_test, y_test, verbose0) print(Test loss:, score[0]) print(Test accuracy:, score[1])更多示例4. 利用, 借助Spark, 能够简便地施行, 达成敏捷的数据科学工作流程。V2有着让数据清理更便利的目的, 此项API的设计对于新手而言极其简易, 对于运用它的人来讲也极为晓得, 它拓展了Spark的功能, 增添了.rows以及.cols属性。把它用于清理数据, 这一行为能够以分布式的方式来进行, 准备数据也同样如此, 分析数据也能够以分布式方式开展, 创建分析器和图表也可通过分布式的办法来做, 并且还能够执行机器学习以及深度学习, 原因在于它的后端存在Spark, 并且还有Keras。它是数据科学敏捷方法的完美工具, 且几乎能够协助你完成整个过程的全部步骤, 还能够轻松地连接到其他库以及工具。(pip):pip install optimuspyspark用法在这个示例当中, 你能够从URL那儿加载数据, 将其予以转换, 并且应用 some 预定义的清理功能喔:from optimus import Optimus op Optimus() # This is a custom function def func(value, arg): return this was a number df op.load.url(https://raw.githubusercontent.com/ironmussa/Optimus/master/examples/foo.csv) df .rows.sort(product,desc) .cols.lower([firstName,lastName]) .cols.date_transform(birth, new_date, yyyy/MM/dd, dd-MM-YYYY) .cols.years_between(birth, years_between, yyyy/MM/dd) .cols.remove_accents(lastName) .cols.remove_special_chars(lastName) .cols.replace(product,taaaccoo,taco) .cols.replace(product,[piza,pizzza],pizza) .rows.drop(df[id]7) .cols.drop(dummyCol) .cols.rename(str.lower) .cols.apply_by_dtypes(product,func,string, data_typeinteger) .cols.trim(*) .show()你可以将这个表格转换为这样是不是很酷这个库还可以做更多事情具体请阅读3. spacy——使用和的工业级自然语言处理帮助你完成实际工作, 也就是构建真实产品, 或是收集真实见解, 这是spaCy的目的。该库尊重你的时间, 尽量避免浪费。它便于安装, 并且其API简单且高效。spaCy被视作自然语言处理方面的Ruby on Rails。对于深度学习而言, spaCy是准备文本最为优越的方式。存在一种可供选择的方式用于与、、-learn展开交互, 同时其还致力于能够和强大的AI生态系统的其他部分实现无缝对接。当运用spaCy时, 你将能够以一种极其便捷地方式去构建展现繁杂语言特性的统计模型, 以应对各式各样的NLP问题。安装pip3 install spacy $ python3 -m spacy download en在这里, 我们进行了英语语言模型的下载操作。你能够于此处觅得德文、西班牙文、意大利文、葡萄牙文、法文等版本的模型:下面是主页面的一个示例# python -m spacy download en_core_web_sm import spacy # Load English tokenizer, tagger, parser, NER and word vectors nlp spacy.load(en_core_web_sm) # Process whole documents text (uWhen Sebastian Thrun started working on self-driving cars at uGoogle in 2007, few people outside of the company took him useriously. “I can tell you very senior CEOs of major American ucar companies would shake my hand and turn away because I wasn’t uworth talking to,” said Thrun, now the co-founder and CEO of uonline higher education startup Udacity, in an interview with uRecode earlier this week.) doc nlp(text) # Find named entities, phrases and concepts for entity in doc.ents: print(entity.text, entity.label_) # Determine semantic similarities doc1 nlp(umy fries were super gross) doc2 nlp(usuch disgusting fries) similarity doc1.similarity(doc2) print(doc1.text, doc2.text, similarity)于这个示例范畴里, 我们率先去下载, 下载那, 那, 那NER以及word。接着着手创建一些文本, 之后打印寻觅到的实体、短语还有概念, 最终判定两个短语的语义相似性。运行此段代码, 你便会获取到:Sebastian Thrun PERSON Google ORG 2007 DATE American NORP Thrun PERSON Recode ORG earlier this week DATE my fries were super gross such disgusting fries 0.71397016350719192. jupytext对我而言, 它属于年度最佳范畴。几乎无人不于类似这般的笔记本上开展工作, 然而我们同样在项目更为关键核心的部分运用像这样的IDE。存在这样一个好消息, 那就是, 你能够于自己所钟爱的IDE里去起草以及测试普通脚本, 在实际使用期间能够把IDE当作在其中来进行打开对待。在其中运行以此来生成输出结果, 使其关联.ipynb表示形式, 并且作为普通脚本或者传统方式去予以保存还有分享。下图展示了这个包的作用可点击下方链接查看原文中的GIF展示安装pip install jupytext --upgrade然后配置使用使用 ---生成配置编辑./fig.py并附加以下代码c.NotebookApp.contents_manager_class jupytext.TextFileContentsManager重启即运行jupyter notebook你可以在这里试试1. ——让数据科学家很容易创建图表的库是的年度最佳库。于世界范畴之内去构建一个称得上像样的图, 这是颇为耗费时间的。所幸的是, 我们拥有诸如该举例的库, 然而问题在于, 它们所具备的plots并非处于动态的状态哟。然后, Bokeh出现了, 它是一个很棒的库, 然而, 使用它去创造出来互动情节, 依旧是十分痛苦的。建立在Bokeh之上但它简单得多。的特性安装可以通过pip安装:pip3 install chartify用法假设我们想要创建这个图表import pandas as pd import chartify # Generate example data data chartify.examples.example_data()现在我们已经加载了一些示例数据让我们来做一些转换total_quantity_by_month_and_fruit (data.groupby( [data[date] pd.offsets.MonthBegin(-1), fruit])[quantity].sum() .reset_index().rename(columns{date: month}) .sort_values(month)) print(total_quantity_by_month_and_fruit.head()) month fruit quantity 0 2017-01-01 Apple 7 1 2017-01-01 Banana 6 2 2017-01-01 Grape 1 3 2017-01-01 Orange 2 4 2017-02-01 Apple 84C.YuXiNhUi.cN99.YuXiNhUi.cN84C.YuXiNhUi.cN1B11.YuXiNhUi.cN19.YuXiNhUi.cNCD.YuXiNhUi.cNCAE.YuXiNhUi.cN87.YuXiNhUi.cNAE2.YuXiNhUi.cNCFF.YuXiNhUi.cN0A07.YuXiNhUi.cN997.YuXiNhUi.cN58.YuXiNhUi.cNC3AB.YuXiNhUi.cN2E93.YuXiNhUi.cNF7D.YuXiNhUi.cN8D8.YuXiNhUi.cN6EA.YuXiNhUi.cND6.YuXiNhUi.cN21D8.YuXiNhUi.cNBD77.YuXiNhUi.cN1E34.YuXiNhUi.cN2BE.YuXiNhUi.cN6.YuXiNhUi.cNFC.YuXiNhUi.cN17.YuXiNhUi.cN963.YuXiNhUi.cNF2.YuXiNhUi.cN8B3.YuXiNhUi.cNE047.YuXiNhUi.cNA4.YuXiNhUi.cNB.YuXiNhUi.cND7.YuXiNhUi.cN0605.YuXiNhUi.cN59.YuXiNhUi.cN746B.YuXiNhUi.cN01E3.YuXiNhUi.cNC4D.YuXiNhUi.cNB1C1.YuXiNhUi.cN55AC.YuXiNhUi.cND4D.YuXiNhUi.cNAF7C.YuXiNhUi.cN082.YuXiNhUi.cN74.YuXiNhUi.cN146.YuXiNhUi.cN451.YuXiNhUi.cN6EA8.YuXiNhUi.cN665.YuXiNhUi.cN14.YuXiNhUi.cN46F.YuXiNhUi.cND5C.YuXiNhUi.cNCA58.YuXiNhUi.cN75.YuXiNhUi.cN03.YuXiNhUi.cN69.YuXiNhUi.cNAAA4.YuXiNhUi.cNB21.YuXiNhUi.cN5347.YuXiNhUi.cNE.YuXiNhUi.cNFC3D.YuXiNhUi.cN3CFA.YuXiNhUi.cN738.YuXiNhUi.cN4B.YuXiNhUi.cN88.YuXiNhUi.cN20D.YuXiNhUi.cN9A8.YuXiNhUi.cNC6C0.YuXiNhUi.cN5F0C.YuXiNhUi.cNC640.YuXiNhUi.cNF43.YuXiNhUi.cN95C8.YuXiNhUi.cNFDC.YuXiNhUi.cNCC.YuXiNhUi.cN09.YuXiNhUi.cN03F0.YuXiNhUi.cNAB.YuXiNhUi.cNB9.YuXiNhUi.cN1A.YuXiNhUi.cN0DD.YuXiNhUi.cN99A.YuXiNhUi.cN8902.YuXiNhUi.cNAF.YuXiNhUi.cN456.YuXiNhUi.cN1F.YuXiNhUi.cN2E4.YuXiNhUi.cN45.YuXiNhUi.cN22.YuXiNhUi.cN6D6F.YuXiNhUi.cNA1A.YuXiNhUi.cN1B.YuXiNhUi.cN84.YuXiNhUi.cNDB.YuXiNhUi.cN7B91.YuXiNhUi.cN10.YuXiNhUi.cN983F.YuXiNhUi.cNBD89.YuXiNhUi.cN3AD5.YuXiNhUi.cN44.YuXiNhUi.cN5135.YuXiNhUi.cNCDA.YuXiNhUi.cN95C.YuXiNhUi.cN004.YuXiNhUi.cN9D7.YuXiNhUi.cN9CD.YuXiNhUi.cNC7B0.YuXiNhUi.cN40C0.YuXiNhUi.cN0CD.YuXiNhUi.cN1.YuXiNhUi.cN378.YuXiNhUi.cN33A.YuXiNhUi.cN4007.YuXiNhUi.cNFC14.YuXiNhUi.cN17B.YuXiNhUi.cNE7.YuXiNhUi.cN338.YuXiNhUi.cN83E.YuXiNhUi.cNF305.YuXiNhUi.cN833F.YuXiNhUi.cN820.YuXiNhUi.cN7D.YuXiNhUi.cNE9.YuXiNhUi.cNF966.YuXiNhUi.cN7EB.YuXiNhUi.cNA06.YuXiNhUi.cNF18.YuXiNhUi.cN497.YuXiNhUi.cNFB.YuXiNhUi.cN2EE.YuXiNhUi.cN11D.YuXiNhUi.cN9.YuXiNhUi.cN85.YuXiNhUi.cNB18.YuXiNhUi.cNC66E.YuXiNhUi.cN714.YuXiNhUi.cNF12.YuXiNhUi.cNFAE.YuXiNhUi.cNB13A.YuXiNhUi.cNBDCB.YuXiNhUi.cNE6.YuXiNhUi.cN6F.YuXiNhUi.cN678.YuXiNhUi.cN641.YuXiNhUi.cN8C.YuXiNhUi.cN9FC.YuXiNhUi.cN14A.YuXiNhUi.cN5.YuXiNhUi.cN24.YuXiNhUi.cN2.YuXiNhUi.cN3BF.YuXiNhUi.cNC234.YuXiNhUi.cN26F1.YuXiNhUi.cND.YuXiNhUi.cN72F.YuXiNhUi.cNB4.YuXiNhUi.cN41.YuXiNhUi.cN2810.YuXiNhUi.cN83.YuXiNhUi.cN6B9.YuXiNhUi.cN3035.YuXiNhUi.cNE7E2.YuXiNhUi.cNCC1B.YuXiNhUi.cND65.YuXiNhUi.cN1EE0.YuXiNhUi.cN7.YuXiNhUi.cN52CD.YuXiNhUi.cN6EFE.YuXiNhUi.cNEC2C.YuXiNhUi.cN3.YuXiNhUi.cN0BD.YuXiNhUi.cNC.YuXiNhUi.cNF.YuXiNhUi.cNCA4.YuXiNhUi.cN0.YuXiNhUi.cN823A.YuXiNhUi.cN8.YuXiNhUi.cN4.YuXiNhUi.cNB7.YuXiNhUi.cNC96.YuXiNhUi.cNDE7.YuXiNhUi.cN76B.YuXiNhUi.cN1BB.YuXiNhUi.cN
