应该知道的Linux技巧

应该知道的Linux技巧

这篇文章来源于Quroa的一个问答《What are some time-saving tips that every Linux user should know?》—— Linux用户有哪些应该知道的提高效率的技巧。我觉得挺好的,总结得比较好,把其转过来,并加了一些自己的理解。 首先,我想告诉大家,在Unix/Linux下,最有效率技巧的不是操作图形界面,而是命令行操作,因为命令行意味着自动化。如果你看过《你可能不知道的Shell》以及《28个Unix/Linux的命令行神器》你就会知道Linux有多强大,这个强大完全来自于命令行,于是,就算你不知道怎么去做一个环保主义的程序员,至少他们可以让你少熬点夜,从而有利于你的身体健康和性生活。下面是一个有点长的列表,正如作者所说,你并不需要知道所有的这些东西,但是如果你还在很沉重地在使用Linux的话,这些东西都值得你看一看。 (注:如果你想知道下面涉及到的命令的更多的用法,你一定要man一点。对于一些命令,你可以需要先yum或apt-get来安装一下,如果有什么问题,别忘了Google。如果你要Baidu的话,我仅代表这个地球上所有的生物包括微生物甚至细菌病毒和小强BS你到宇宙毁灭)

基础

  • 学习 Bash 。你可以man bash来看看bash的东西,并不复杂也并不长。你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)
  • 了解 ssh。明白不需要口令的用户认证(通过ssh-agent, ssh-add),学会用ssh翻墙,用scp而不是ftp传文件,等等。你知道吗?scp 远端的时候,你可以按tab键来查看远端的目录和文件(当然,需要无口令的用户认证),这都是bash的功劳。

  • 熟悉bash的作业管理,如: &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill, 等等。当然,你也要知道Ctrl+\(SIGQUIT)和Ctrl+C (SIGINT)的区别。
  • 简单的文件管理 : ls 和 ls -l (你最好知道 “ls -l” 的每一列的意思), less, head, tail 和 tail -f, ln 和 ln -s (你知道明白hard link和soft link的不同和优缺点), chown, chmod, du (如果你想看看磁盘的大小 du -sk *), df, mount。当然,原作者忘了find命令。
  • 基础的网络管理: ip 或 ifconfig, dig。当然,原作者还忘了如netstat, ping, traceroute, 等
  • 理解正则表达式,还有grep/egrep的各种选项。比如: -o, -A, 和 -B 这些选项是很值得了解的。
  • 学习使用 apt-get 和 yum 来查找和安装软件(前者的经典分发包是Ubuntu,后者的经典分发包是Redhat),我还建议你试着从源码编译安装软件。

日常

  • 在 bash 里,使用 Ctrl-R 而不是上下光标键来查找历史命令。
  • 在 bash里,使用 Ctrl-W 来删除最后一个单词,使用 Ctrl-U 来删除一行。请man bash后查找Readline Key Bindings一节来看看bash的默认热键,比如:Alt-. 把上一次命令的最后一个参数打出来,而Alt-* 则列出你可以输入的命令。
  • 回到上一次的工作目录: cd –  (回到home是 cd ~)
  • 使用 xargs。这是一个很强大的命令。你可以使用-L来限定有多少个命令,也可以用-P来指定并行的进程数。如果你不知道你的命令会变成什么样,你可以使用xargs echo来看看会是什么样。当然, -I{} 也很好用。示例:
find . -name \*.py | xargs grep some_function

cat hosts | xargs -I{} ssh root@{} hostname
  • pstree -p 可以帮你显示进程树。(读过我的那篇《一个fork的面试题》的人应该都不陌生)
  • 使用 pgrep 和 pkill 来找到或是kill 某个名字的进程。 (-f 选项很有用).
  • 了解可以发给进程的信号。例如:要挂起一个进程,使用 kill -STOP [pid]. 使用 man 7 signal 来查看各种信号,使用kill -l 来查看数字和信号的对应表
  • 使用 nohup 或  disown 如果你要让某个进程运行在后台。
  • 使用netstat -lntp来看看有侦听在网络某端口的进程。当然,也可以使用 lsof。
  • 在bash的脚本中,你可以使用 set -x 来debug输出。使用 set -e 来当有错误发生的时候abort执行。考虑使用 set -o pipefail 来限制错误。还可以使用trap来截获信号(如截获ctrl+c)。
  • 在bash 脚本中,subshells (写在圆括号里的) 是一个很方便的方式来组合一些命令。一个常用的例子是临时地到另一个目录中,例如:
# do something in current dir
(cd /some/other/dir; other-command)
# continue in original dir
  • 在 bash 中,注意那里有很多的变量展开。如:检查一个变量是否存在: ${name:?error message}。如果一个bash的脚本需要一个参数,也许就是这样一个表达式 input_file=${1:?usage: $0 input_file}。一个计算表达式: i=$(( (i + 1) % 5 ))。一个序列: {1..10}。 截断一个字符串: ${var%suffix} 和 ${var#prefix}。 示例: if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
  • 通过 <(some command) 可以把某命令当成一个文件。示例:比较一个本地文件和远程文件 /etc/hosts: diff /etc/hosts <(ssh somehost cat /etc/hosts)
  • 了解什么叫 “here documents” ,就是诸如 cat <<EOF 这样的东西。
  • 在 bash中,使用重定向到标准输出和标准错误。如: some-command >logfile 2>&1。另外,要确认某命令没有把某个打开了的文件句柄重定向给标准输入,最佳实践是加上 “</dev/null”,把/dev/null重定向到标准输入。
  • 使用 man ascii 来查看 ASCII 表。
  • 要来debug Web,试试curl 和 curl -I 或是 wget 。我觉得debug Web的利器是firebug,curl和wget是用来抓网页的,呵呵。
  • 把 HTML 转成文本: lynx -dump -stdin
  • 如果你要处理XML,使用 xmlstarlet
  • 对于 Amazon S3, s3cmd 是一个很方便的命令(还有点不成熟)
  • 在 ssh中,知道怎么来使用ssh隧道。通过 -L or -D (还有-R) ,翻墙神器。
  • 你还可以对你的ssh 做点优化。比如,.ssh/config 包含着一些配置:避免链接被丢弃,链接新的host时不需要确认,转发认证,以前使用压缩(如果你要使用scp传文件):
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes
  • 如果你有输了个命令行,但是你改变注意了,但你又不想删除它,因为你要在历史命令中找到它,但你也不想执行它。那么,你可以按下 Alt-# ,于是这个命令关就被加了一个#字符,于是就被注释掉了。

数据处理 

  • 了解 sort 和 uniq 命令 (包括 uniq 的 -u 和 -d 选项).
  • 了解用 cut, paste, 和 join 命令来操作文本文件。很多人忘了在cut前使用join。
  • 如果你知道怎么用sort/uniq来做集合交集、并集、差集能很大地促进你的工作效率。假设有两个文本文件a和b已解被 uniq了,那么,用sort/uniq会是最快的方式,无论这两个文件有多大(sort不会被内存所限,你甚至可以使用-T选项,如果你的/tmp目录很小)
cat a b | sort | uniq > c   # c is a union b 并集

cat a b | sort | uniq -d > c   # c is a intersect b 交集

cat a b b | sort | uniq -u > c   # c is set difference a - b 差集
  • 了解和字符集相关的命令行工具,包括排序和性能。很多的Linux安装程序都会设置LANG 或是其它和字符集相关的环境变量。这些东西可能会让一些命令(如:sort)的执行性能慢N多倍(注:就算是你用UTF-8编码文本文件,你也可以很安全地使用ASCII来对其排序)。如果你想Disable那个i18n 并使用传统的基于byte的排序方法,那就设置export LC_ALL=C (实际上,你可以把其放在 .bashrc)。如果这设置这个变量,你的sort命令很有可能会是错的。
  • 了解 awk 和 sed,并用他们来做一些简单的数据修改操作。例如:求第三列的数字之和: awk ‘{ x += $3 } END { print x }’。这可能会比Python快3倍,并比Python的代码少三倍。
  • 使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
  • 了解sort命令的选项。了解key是什么(-t和-k)。具体说来,你可以使用-k1,1来对第一列排序,-k1来对全行排序。
  • Stable sort (sort -s) 会很有用。例如:如果你要想对两例排序,先是以第二列,然后再以第一列,那么你可以这样: sort -k1,1 | sort -s -k2,2
  • 我们知道,在bash命令行下,Tab键是用来做目录文件自动完成的事的。但是如果你想输入一个Tab字符(比如:你想在sort -t选项后输入<tab>字符),你可以先按Ctrl-V,然后再按Tab键,就可以输入<tab>字符了。当然,你也可以使用$’\t’。
  • 如果你想查看二进制文件,你可以使用hd命令(在CentOS下是hexdump命令),如果你想编译二进制文件,你可以使用bvi命令(http://bvi.sourceforge.net/ 墙)
  • 另外,对于二进制文件,你可以使用strings(配合grep等)来查看二进制中的文本。
  • 对于文本文件转码,你可以试一下 iconv。或是试试更强的 uconv 命令(这个命令支持更高级的Unicode编码)
  • 如果你要分隔一个大文件,你可以使用split命令(split by size)和csplit命令(split by a pattern)。

系统调试

  • 如果你想知道磁盘、CPU、或网络状态,你可以使用 iostat, netstat, top (或更好的 htop), 还有 dstat 命令。你可以很快地知道你的系统发生了什么事。关于这方面的命令,还有iftop, iotop等(参看《28个Unix/Linux的命令行神器》)
  • 要了解内存的状态,你可以使用free和vmstat命令。具体来说,你需要注意 “cached” 的值,这个值是Linux内核占用的内存。还有free的值。
  • Java 系统监控有一个小的技巧是,你可以使用kill -3 <pid> 发一个SIGQUIT的信号给JVM,可以把堆栈信息(包括垃圾回收的信息)dump到stderr/logs。
  • 使用 mtr 会比使用 traceroute 要更容易定位一个网络问题。
  • 如果你要找到哪个socket或进程在使用网络带宽,你可以使用 iftop 或 nethogs。
  • Apache的一个叫 ab 的工具是一个很有用的,用quick-and-dirty的方式来测试网站服务器的性能负载的工作。如果你需要更为复杂的测试,你可以试试 siege。
  • 如果你要抓网络包的话,试试 wireshark 或 tshark。
  • 了解 strace 和 ltrace。这两个命令可以让你查看进程的系统调用,这有助于你分析进程的hang在哪了,怎么crash和failed的。你还可以用其来做性能profile,使用 -c 选项,你可以使用-p选项来attach上任意一个进程。
  • 学会到 /proc 目录中查看信息。这是一个Linux内核运行时记录的整个操作系统的运行统计和信息,比如: /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps.
  • 如果你调试某个东西为什么出错时,sar命令会有用。它可以让你看看 CPU, 内存, 网络, 等的统计信息。
  • 使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

作者最后加了一个免责声明:Disclaimer: Just because you can do something in bash, doesn’t necessarily mean you should. ;) (全文完)

(转载本站文章请注明作者和出处 酷 壳 – CoolShell ,请勿用于任何商业用途)

好烂啊有点差凑合看看还不错很精彩 (84 人打了分,平均分: 4.39 )
Loading...

应该知道的Linux技巧》的相关评论

  1. 赞一个,很多东西的确是工作中经常用的。不过目前来说我更偏向于用Python来做系统管理,这样可以省得去记一些比较复杂的Bash语法。

  2. McKelvin :赞一个,!btw:“学习 vim 。在Linux下,基本没有什么可与之竞争的编译器”,“编译器”大丈夫吗?

    编译器是不是应该改为编辑器?

  3. 虽然总有人发这些东西,不过这些东西就是应该总被时不时翻出来普及下

  4. 用bash无可厚非,但是看bash的资料很容易让你在那些无聊不标准的bash addition对新人很不好。建议看ksh的书,用zsh。bash比zsh限制少?语法混乱不等于限制少,bash这货,还是留给root自己玩吧。我个人交互用zsh天花乱坠,工作代码谨尊ksh语法保证通用性。

  5. @一刀
    同求, 最近也在找比Bash 更给力的工具, 现在偶尔会在脚本里调第3 方的应用, POST 一下JSON的数据, Bash 脚本处理这些东东感觉很麻烦.

    现在RHEL系统中的Yum、system-config-network-tui 这些工具和Xend的服务脚本. 还有N多系统工具有Python的开发包, 为什么还会有那么多Ruby 的系统管理工具?

    下面是 http://devopsanywhere.blogspot.com/2011/09/how-ruby-is-beating-python-in-battle.html 这篇文章中列出来用Ruby和Python 开发的和系统管理相关项目
    Off-hand here is a non-definitive list of sysadmin/devops related projects in ruby:
    [1] puppet
    [2] chef
    [2] vagrant
    [3] mcollective
    [4] cucumber (behavior-driven testing)
    [5] capistrano
    [6] rake (ruby Make)
    [7] aeolus project/openshift
    [8] cloud foundry
    [9] graylog2
    [10] logstash
    [11] travis-ci

    and in Python:
    [1] openstack
    [2] cobbler
    [3] fabric
    [4] func
    [5] buildbot

    1. ruby 里面这一堆,除了 cap 和 rake,其他几乎没用过,cap 现在也基本上快淘汰了,因为 docker + bash 已经替代它了。

  6. 不知道为什么pstree在我这里输出会有很多乱码,个人比较喜欢用 ps -aux –forest , 这看的不止是tree,而是forest啊,哈哈哈! 如果嫌进程显示不够长,再加上3个www就好了: ps -auxwww –forest

  7. “Alt-. 把上一次命令的最后一个参数打出来,而Alt-* 则列出你可以输入的命令。”

    “Alt-.” 这个命令 怎么用?

  8. 文章说的是Linux命令,有些人看到vim就搬出Sublime Text 2,一看就知道是小白。
    几乎所有的Linux发行版,vim是内置命令之一,通过终端即可运行,Sublime Text 2是哪门子的命令?
    举个例子,说起命令 ls,难道你就会想起 Windows 的文件管理器?如果真是这样,我只能说,I 服了 You!

  9. Vim 是个牛逼而影响广泛的编辑器, 很多项目都有为了讨好 vim 专门写的语法高亮.

  10. 没怎么用过vim,一直用emacs,自从emacs24以后有了package管理器以后更喜欢用了。

    另外自从我用过emacs的daemon模式以后,就再也没用过screen和tmux

  11. vim没有竞争,不是很同意。
    我先用gvim很久,后来用了emacs, 发现emacs更顺手,功能更强大。

  12. Ctrl-U 是删除此行*光标之前*的内容吧。

    假如”[]”为光标位置:

    “`
    find . -name \*.py | xargs [] grep some_function
    “`

    此时按下Ctrl-U会变成
    “`
    grep some_function
    “`

    所以,我觉得所有情况都可用的删除一行的快捷键是`\C-a\C-k`。

  13. vi是编辑器。bash里面的行快捷键其实和EMACS中的快捷键都是一样的,用习惯了emacs的人,在bash下的几个快捷会很亲切。vim是非常强大的编辑器,但如果说没有对手?这个有点夸张了。

  14. 尝试了好多次学习bash,但工作中用的不多实在是记不住,都是直接用Python来写脚本了……

    如果能写一篇bash的原理分析就好了

  15. 命令行容易被程序控制,gui容易被人操作,各有优劣。
    个人倾向为命令行做对应的gui,把常用的选项、配置由gui简单下拉就能组成命令行参数发出,用户根本不用记任何参数及组合了。
    另外,gui也不一定是图形的,ide(文本模式的集成界面)也一样好用(只是最低分辨率不是像素而是字符而已),经典如:mc。
    在win里,我也是把涉及底层的工作(RSA算法、IC读写、串口/usb访问。。。)由c编译为命令行exe,由delphi写的gui来调用:取两者的优点!

    linux在桌面普及率始终远远低于win,其实原因就在这里。
    IT人不能独享清高,独乐乐不如众乐乐

  16. 作者的逻辑是:
    linux–>命令行(shell)–>bash,
    所以bash的技巧就是linux的技巧。我不同意这种看法。试对上面两个箭头(–>)进行反驳:

    一、“你就会知道Linux有多强大,这个强大完全来自于命令行”
    ————————————————————————-
    首先,Linux的强大不完全来自于命令行。可以从很多方面评价一个操作系统的好坏,比如性能,安全性,硬件兼容性等等;如果Linux在这些方面很差的话,光有个bash,也强大不起来。
    其次,命令行也不是只让Linux更强大。这片文章中的提到的很多技巧,很多非Linux用户,比如FreeBSD用户也一样可以用,但是这些技巧却被冠名为“Linux技巧”,听起来好像是“天不生Linux,万古长如夜”一般。而事实上,bash年纪比Linux大。

    二、“你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)”
    我要说的是,命令行(shell)也不光是bash。当然这主要是个人口味问题。我不知道作者说bash很强大是指交互能力还是指脚本能力。如果是前者,其实各个shell都差不多,甚至有不少人认为bash的交互能力不如某些shell。如果是后者,复杂的任务我是能不用shell编程就不用的,宁愿用p字系的;简单的任务还是那句话,其实各个shell都差不多。

    按照作者的逻辑,我也可以说:做为PC用户的你,用别的操作系统也行,但是Windows是很强大的并且也是很多品牌机/软件/(IE only)网站默认的。(学习Linux或BSD只会让你在很多情况下受到限制,比如进不了某某网银,玩不了某某游戏)。

  17. @AntiLinuxism
    shell 的交互能力的话,不管怎么看 bash 只能好过 (t)csh,无论 zsh 还是 fish 都比 bash 的交互要好。
    复杂任务用 shell 的话就是这样子——https://github.com/clvv/fasd/blob/master/fasd :D

  18. (学习Linux或BSD只会让你在很多情况下受到限制,比如进不了某某网银,玩不了某某游戏)

    笑。。。。。。

  19. BOYPT :
    (学习Linux或BSD只会让你在很多情况下受到限制,比如进不了某某网银,玩不了某某游戏)
    笑。。。。。。

    所以我也笑:“你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)

  20. @地精

    这篇文章命中注定要被人抬杠。你没有发现作者的语气很冲么,很有舍我其谁的霸气,试摘录如下:

    你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)

    对不起我又引用了这句,bash宗在赤裸裸的鄙视其他shell异端

    学习 vim 。在Linux下,基本没有什么可与之竞争的编译辑器(就算你是一个Emacs或Eclipse的重度用户)

    vim宗在赤裸裸的鄙视emacs异端

    你觉得我的回复莫名其妙,是因为你没有中枪而且觉得没有人会中枪。
    我是为那些中了枪的沉默的一小撮而发了这个回复的,包括但不限于:

    1.在Linux下不用bash也不用vim也能活得很轻松的
    2…
    3…
    4.不用Linux但是用bash也用vim也能活得很轻松的
    5…
    6…

    其实作者发的文章都还不错的,但是这种“歧视异端”的口气让我受不了。
    而且我觉得这篇文章的取名为“Linux用户应该知道的技巧”比“应该知道的Linux技巧”要恰当。因为后者给人一个误解,以为文章中介绍的技巧都是Linux专有的。

    1. 我觉得 bash 的评价还算客观吧? 你整天用 zsh,部署时,你总不能都升级一遍吧,毕竟,发布版都是 bash 默认,(Ubuntu 的 dash 不了解,貌似也是 bash),而且 bash 用好久了,至少我没觉得要用其他 shell 的必要。

      至于原作者对于 Vim 的评价……

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注