集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:15023458194  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

成都大数据培训-数据科学家必备!12个基本命令行工具帮你摆脱鼠标

发布者: 成都达内     浏览次数:     发布时间:2018-04-20 10:13:19

成都大数据培训-数据科学家必备!12个基本命令行工具帮你摆脱鼠标,这篇文章概述了十二个可以用于数据科学项目的类Unix操作系统命令行工具。...

  成都大数据培训-数据科学家必备!12个基本命令行工具帮你摆脱鼠标

  本篇文章作者是Matthew Mayo,选自KDnuggets(一个著名的数据挖掘网站)。简要介绍了12种类Unix操作系统命令行工具,以及这些命令行工具对数据科学研究和数据科学家的价值。

  这篇文章概述了十二个可以用于数据科学项目的类Unix操作系统命令行工具。

  这一系列工具不包括任何基本的文件管理命令(pwd、ls、mkdir、rm……)和远程桌面管理工具(rsh、ssh……),但是从数据科学角度来看,这些命令行工具都是比较实用的,通常用来进行不同程度的数据检验和数据处理。

  这一系列命令行工具都包含在一种特殊的类Unix操作系统中。

  这些固然都是最基础的操作命令,但我还是鼓励你针对某些命令行自行查找更多的应用实例。

  在本文中,工具名都可以直接链接到维基百科词条,而不是Linux的使用手册页面,我觉得前者对于新手来说更友好一点。

  Linux的使用手册页面:https://linux.die.net/man/

  wget

  wget是一个文件检索工具,用于从远程位置下载文件,其下载远程文件的基本用法如下:

  wget:https://en.wikipedia.org/wiki/wget

  成都大数据培训

  cat

  cat是将文件内容标准输出的工具,此名称来自连接(concatenate)这个词。它可以用于实现一些较复杂的文件处理,包括将文件合并在一起(也就是真正的文件连接)、将文件追加到另一个文件中、以及给文件行编号等功能。

  cat:https://en.wikipedia.org/wiki/Cat_(Unix)

  成都大数据培训

  wc

  wc命令用于生成字数统计、行计数、字节计数以及与文本文件相关的内容。在没有设置其他选项的情况下,wc的默认输出是一行,由左到右依次是行数、字数统计(注意:每一行上没有空格中断的单个字符串被算作一个单词)、字符计数和文件名。

  wc:https://en.wikipedia.org/wiki/Wc_(Unix)

  ~$ wc iris.cs

  151 151 3716 iris.csv

  head

  head命令是标准地输出文件的前n行(默认为10行),显示行数可以用-n项设置,如下。

  Head:https://en.wikipedia.org/wiki/Head_(Unix)

  成都大数据培训

  tail

  接下来猜猜看tail是用来实现什么功能的?

  tail:https://en.wikipedia.org/wiki/Tail_(Unix)

  成都大数据培训

  find

  find是用于搜索特定文件的文件系统工具。以下命令就是在树结构中搜索特殊文件的例子,即从当前目录(“.”)开始,搜索以“iris”开头,并以任意字符结尾,类型为普通文件类型(“-type f”)的文件:

  find:https://en.wikipedia.org/wiki/Find_(Unix)

  成都大数据培训

  cut

  cut命令用于文本分割,虽然cut用于分割文本可以在各种标准下进行,但是它对于CSV文件中列数据的提取尤其有用。以下命令即为输出使用逗号分隔符("-d ','")的iris.csv文件的第五列(“- f 5”):

  cut:https://en.wikipedia.org/wiki/Cut_(Unix)

  成都大数据培训

  uniq

  uniq是通过将文本中的重复行进行去重,从而将文本输出标准化的工具。就其本身而言,这似乎并没多大用处,但是当其用于构建pipelines时(将一个命令的输出连接到另一个命令的输入等等)将变得非常有用。

  uniq:https://en.wikipedia.org/wiki/Uniq

  以下命令结果是iris数据集的第五列中包含的不同类别及其计数:

  成都大数据培训

  成都大数据培训

  奶牛说了什么

  awk

  awk实际上不是一个"命令",而是一套完整的编程语言。它用于处理和提取文本, 且可以从命令行中以单行命令的形式调用。

  awk:https://en.wikipedia.org/wiki/AWK

  完全掌握awk是需要一些时间的,但在此之前,这里有一个可以练习的例子。考虑到样本文件iris.csv相当有限的文本多样性,以下这行命令就可以调用awk,在给定的文件(“iris.csv”)中搜索字符串“setosa”,并将所有项(在$0变量中保存的)一个一个地标准输出如下:

  成都大数据培训

  grep

  grep是另一种文本处理工具,用来查找匹配字符串和正则表达式。

  grep:https://en.wikipedia.org/wiki/Grep

  成都大数据培训

  当你需要花大量的时间进行文本处理时,grep无疑是你需要掌握的一个好工具,更多有用的信息请参考网站:

  https://www.thegeekstuff.com/2009/03/15-practical-unix-grep-command-examples。

  sed

  sed是一个流编辑器,也是一个文本处理和转换工具,类似于awk。下面我们将用此命令把iris.csv文件中的“setosa”改为“irissetosa”:

  sed:https://en.wikipedia.org/wiki/Sed

  成都大数据培训

  history

  history非常简单,但也非常有用,特别是当你需要用命令语句来完成一些重复性的数据准备工作时。

  History:https://en.wikipedia.org/wiki/History_(Unix)

  成都大数据培训

  至此,这篇文章已经对这12个方便的命令行工具都进行了简单的介绍,这只是对数据科学(或其他任何目标)可能用到的命令行工具的一种粗浅的体验。现在,是时候让它们把你的生产力从鼠标中解放出来了。

(责任编辑:成都达内)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:绵阳市涪城区临园路东段68号富临大都会7栋3单元9层12号

联系电话:15023458194

公交路线:富乐路口凯德广场(10路;29路;3路;15路;11路;15a路;71路)

校区地址:成都市锦江区东大街紫东楼段35号明宇金融广场19楼1903室

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:15023458194

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:15023458194

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:15023458194

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街紫东段35号明宇广场2306

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都市成华区建设路10号万科钻石广场B座5楼

联系电话:15023458194

公交路线:建设路中(6路;14路;42路;72路;76路;1010路;)

校区地址:成都市高新区奥克斯广场B座1708

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

20016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56