在Linux下做数值运算看着是件小事真正上手的时候坑远比想象的多。bash里直接用$(( ))算整数没问题一遇到小数就静默截断想算个精确的浮点数除法又得引入bc、awk这些外部工具再碰上几十位的大整数加减乘除shell自带的64位整数直接溢出结果对不上也没人提醒。这篇文章就把我在Linux下处理整数运算、浮点数运算的真实经验整理出来从bash内置方案到bc、awk再到大整数场景一步步讲清楚每个工具能干什么、有什么坑适合刚接触Linux脚本的同学也适合在运维和数据处理中经常被数值结果坑过的老手。1. 为什么Linux下的数值运算不能随手一算痛点与工具全貌1.1 一个真实的运维小场景CPU使用率算出了14先讲个我实际踩过的坑。有次写监控脚本需要从top输出里取CPU空闲率再用100减掉算出使用率。脚本大概长这样#!/bin/bash idle$(top -bn1 | grep %Cpu | awk {print $8} | tr -d %) echo $((100 - idle))看起来没毛病但跑出来结果经常是14之类的整数明明手动看top时CPU使用率应该是14.5%。问题就出在top输出的idle值里带了小数点而bash的算术展开$(( ))只认整数于是把14.5直接截断成14再算100-14。结果不是精度差一点的问题是逻辑上就不对。这个场景特别典型Linux下默认的数值计算入口根本就不是给浮点数准备的。1.2 工具矩阵谁适合干什么活在Linux里做数值运算首先要建立一张工具地图。不同工具有不同的精度、性能和适用场景选错工具的结果就是要么报错要么静默出错。我根据自己的使用经验整理了一张表工具整数运算浮点运算大整数典型场景bash$(( ))支持不支持不支持64位溢出循环计数、状态标记、简单整数计算let/declare -i支持不支持不支持脚本内整数赋值与累加expr支持不支持不支持老脚本兼容、面试题bc支持支持支持高精度小数、任意进制转换awk支持支持有限double精度文本流逐行计算、格式化输出python3支持支持支持任意精度复杂计算、大整数、科学计算从这张表能看出一个规律越专业的数值计算任务越要交给专门的工具。bash内置运算只适合处理“小整数”一旦需要小数、高精度或者超长整数就得换赛道。1.3 为什么bash不肯支持浮点数一个设计取舍很多人第一次在bash里算小数时都会骂一句为什么好好的shell不做浮点其实这是有意的设计取舍。bash的算术模型继承自C语言整数直接映射到C的long类型在64位系统上就是64位有符号整数。浮点运算则是另一套体系涉及IEEE 754的二进制表示、舍入规则、精度处理如果把这些全部塞进shell核心会让shell变得无比臃肿。Linux的设计哲学是“一个工具只做一件事组合起来完成复杂任务”。shell的本质是进程管理和文本流处理数值计算完全可以交给外部进程。所以bash只保留了最轻量的整数算术把小数的活外包给bc、awk把大整数的活外包给Python、dc。明白这个设计逻辑之后你就不会纠结“为什么bash这么弱”而是会开始思考“我这个场景该调用哪个工具”。2. 整数运算四件套所有方案对比与实操细节2.1$(( ))算术展开最常用的方案$(( ))是bash里处理整数运算的首选也是我日常用得最多的。它支持完整的算术运算符包括加减乘除、取模、幂运算、位运算和逻辑运算echo $((10 5)) # 15 echo $((10 / 3)) # 3整数除法直接截断 echo $((10 % 3)) # 1取余 echo $((2 ** 10)) # 1024幂运算 echo $((10 3)) # 1比较成立这里有几个细节值得注意。第一变量在$(( ))内部可以直接写名字不用加$前缀加了也没关系但没必要。第二bash 4.3之后的版本支持和--自增减操作写法跟C语言一样注意前置和后置的区别i5 echo $((i)) # 输出5i变成了6 echo $((i)) # 输出7先自增再取值第三(( ))不带$时还能作为独立的算术判断命令用在if或while里非常顺手if (( i 0 )); then echo positive fi用双括号做条件判断比用test和[ ]要舒服得多不需要各种转义直接写数学表达式就行。2.2let与declare -i脚本里的另类玩法let是比$(( ))更老牌的整数运算命令现在很多脚本里还在用。let可以直接对变量做算术赋值let a10 let a5 echo $a # 15let有个出名的坑等号两边不能有空格。let a 1会直接报语法错误报错信息长得很吓人。如果你非要在表达式里加空格必须把整个表达式用引号包起来比如let a 1。我自己写脚本时会尽量不用let因为它的写法跟$(( ))相比没有优势反而容易在空格上栽跟头。declare -i是另一种方式它声明变量为整数类型之后对这个变量做赋值时右侧的算术表达式会自动求值declare -i n5 nn5 echo $n # 10注意赋值时nn5右边没有$(( ))也没有空格bash会自动计算。这个写法在需要大量累加的场景里很简洁但同样有坑如果给整数变量赋了一个无法解析为数字的字符串变量会静默变成0比如declare -i n5; nabc; echo $n输出0错误被悄悄吞掉了。2.3expr外部进程的经典遗老expr是Linux上古时代流传下来的外部命令功能很全面包括数值运算、字符串匹配、比较判断等。但你要知道它是外部命令每次调用都要启动一个进程性能比bash内置运算差很多。写法上也有相当多的规矩expr 10 5 # 15参数之间必须有空格 expr 10 \* 5 # 50乘法必须转义星号 expr 10 \ 5 # 1大于号也要转义*必须转义是因为shell会把它当成通配符展开会被当成输出重定向(、)也需要转义。在循环里调用expr一万次速度比$(( ))慢几十倍。现在的脚本基本都抛弃它了但你依然要在老代码和面试题里见到它至少得能看懂别被expr 2 \* 3里的反斜杠吓到。2.4 整数运算的边界溢出与前导零陷阱bash的$(( ))在64位系统上使用64位有符号整数范围是-9223372036854775808到9223372036854775807。超出这个范围会发生什么静默回绕像钟表走到12点又回到1点echo $((9223372036854775807 1)) # 输出 -9223372036854775808没有报错没有警告结果直接变成负数。这是shell内置整数运算最阴险的特性。另一个常见的坑是前导零。bash会把以0开头的数字当成八进制所以$((08 1))会报错因为8不是合法的八进制数字。处理月份、日期这类天然带前导零的数据时特别容易踩month08 echo $((month 1)) # 报错 value too great for base echo $((10#08 1)) # 9用10#显式指定十进制写脚本处理带前导零的序号时记住这个10#的写法能救你于水火之中。3. 浮点数运算bc与awk的完整实操3.1 bcscale才是精度控制的命门bc是Linux下最经典的任意精度计算器也是我处理浮点数时最常用的工具。它通过管道接收表达式最简单的用法是echo 3 / 2 | bc输出是1而不是1.5。这是因为bc的默认精度scale是0除法结果的小数位数被截断成0位本质上就是在做整除。要拿到小数必须先设置scaleecho scale2; 3 / 2 | bc # 输出 1.50这里有个关键认知scale只控制除法、乘法、幂运算等结果的小数位数而且bc是直接截断不做四舍五入。比如scale2; 7/3的结果是2.33而不是2.34。bc还支持一次传入多条表达式用分号分隔还可以定义变量和函数它本质上是一门完整的计算语言echo scale4; x10; y3; x/y * 2 | bc如果加载了数学库还能用更多函数。在GNU bc里-l参数会载入标准数学库提供sqrt()、s()正弦、c()余弦、l()自然对数、e()指数等函数同时默认把scale设为20echo sqrt(2) | bc -l # 输出 1.414213562373095048803.2 进制转换ibase和obase的顺序坑bc的另一个强大能力是任意进制转换用obase设置输出进制用ibase设置输入进制。这个功能在处理二进制、十六进制数据时非常方便echo obase2; 255 | bc # 输出 11111111 echo obase16; 255 | bc # 输出 FF但对初学者来说ibase和obase的设置顺序是个著名的坑。因为一旦设了ibase后面所有数字的解析规则都会改变。比如你想把二进制11111111转成十六进制如果写成echo ibase2; obase16; 11111111 | bc这里obase16里的16会被当成二进制数字来解析结果完全乱套。正确的做法是先设置obase再设置ibase或者反过来让obase的目标进制用当前进制表示echo obase16; ibase2; 11111111 | bc # 输出 FF另一个底层技巧是如果已经设置了ibase2想让obase变成十六进制可以把obase设置成二进制下的10000因为二进制的10000就是十进制的16echo ibase2; obase10000; 11111111 | bc # 输出 FF这种写法在需要动态设置进制的脚本里有奇效。3.3 awk在文本处理中顺手算浮点awk本身就是一个完整的文本处理语言内置浮点运算能力非常适合在管道中一边读数据一边计算。比如计算磁盘使用率df / | awk NR2{printf used%.2f%%\n, $3/$2*100}awk的数值运算规则和C语言一致printf还能直接格式化输出保留小数位数、控制宽度都方便。这在做报表、监控脚本时是杀手锏因为你不需要先把数据提取出来再喂给bcawk可以在扫描每一行的同时完成计算awk {sum$1} END{printf avg%.2f\n, sum/NR} numbers.txtawk的浮点类型是双精度double支持sqrt()、sin()、cos()、log()等数学函数。需要注意awk同样遵循IEEE 754所以它也会遇到double的精度边界这一点下一节细说。3.4 浮点精度问题0.1 0.2 不等于 0.3 的真相在awk里做个简单测试awk BEGIN{x0.1; y0.2; printf %.17f\n, xy}你会看到类似0.30000000000000004的输出。这不是awk的bug而是IEEE 754双精度浮点数的固有特性。十进制小数转成二进制时很多数字是无限循环小数比如0.1在二进制里就是0.00011001100110011...计算机只能存一个近似值。两个近似值相加结果自然就不精确了。明白这个原理后你就知道为什么金融计算、精确统计这类场景不能直接用awk或bash的浮点数。如果要求精确用bc这类十进制运算工具或者用Python的decimal模块而不是double。bc计算的是十进制数每个数字按scale指定的位数保留不存在二进制近似的问题所以echo scale2; 0.1 0.2 | bc能得出精确的0.3。4. 大整数运算突破64位限制的实战4.1 哪些场景会碰到大整数先明确一下“大整数”的定义超过64位有符号整数范围9223372036854775807的数或者是一些虽然单个数不超、但中间运算结果会超出的场景。常见场景包括分布式ID、雪花算法生成的ID动辄就是19位以上的数字时间戳纳秒级运算date %s%N输出的是秒加纳秒接近19位做差值或倍数运算很容易逼近边界密钥生成、哈希、签名相关的测试数据经常需要处理几百位的数字面试题里也经常出现“大整数的加减乘除运算”因为这是一个很能考察底层功底的题目。先用bash试试能撑到多大echo $((2 ** 62)) # 4611686018427387904 echo $((2 ** 63)) # -9223372036854775808溢出回绕2**63按说是个正数结果却变成了负数而且没有报错。这就是shell内置整数运算的天花板再往上就只能换工具了。4.2 Python3最省心的大整数方案Python3的int类型是任意精度的底层用可变长数组存储想算多长的整数都行。这是我在Linux下处理大整数的首选方案因为它足够简单还不用学新语法python3 -c print(123456789 * 987654321) # 输出 121932631112635269这个数字已经大于32位整数范围Python还是精确算出来了。更大的例子也毫无压力python3 -c print(123456789123456789 * 987654321987654321)输出一个37位的完整数字不溢出、不丢精度。如果要在脚本里传变量给Python最好用sys.argv而不是直接拼接字符串n123456789123456789 python3 -c import sys; print(int(sys.argv[1]) * 2) $n这样做的好处是避免恶意内容注入也能防止bash把大数字当成数值类型处理时发生意外解析。Python还提供decimal模块做高精度十进制运算如果既要大整数又要浮点数可以用它控制有效位数python3 -c from decimal import Decimal, getcontext; getcontext().prec50; print(Decimal(1)/Decimal(3))4.3 bc与dc老牌工具也能扛大数很多人不知道bc其实也能算大整数因为它本身就是任意精度十进制计算器。直接把大数字写进表达式就行echo 123456789 987654321 * p | dc echo 123456789 * 987654321 | bc两条命令都能输出121932631112635269。如果你的系统里没有Python比如极简容器环境bc和dc就是最后的依靠。dc是bc的兄弟但用逆波兰式RPN语法操作数在前、运算符在后echo 123456789 987654321 * p | dcp表示打印栈顶结果。dc同样是任意精度还支持用k命令控制小数位数echo 3 k 1 3 / p | dc # 输出 .333注意dc的输出里没有前导0这是它的风格。RPN的入栈顺序容易搞混记住先出现的数先入栈所以10 3 - p输出7也就是10减3。dc的命令不多日常够用的有p打印、f打印整个栈、d复制栈顶、r交换栈顶两个元素。4.4 大整数运算的选型建议从我实际使用的经验来看大整数运算可以按这个优先级选型系统有Python3直接用Python可读性和扩展性最好只有极简环境用dc或bc它们几乎在所有Linux发行版里都有如果是密码学级别的大数运算比如RSA相关计算建议直接用openssl工具或者完整代码库不要自己用shell拼因为中间步骤的细节太多shell单行命令很难保证正确性。不管选哪种都要记得在传入数据前做一次合法性校验确认字符串是纯数字避免因为中间夹杂空格或符号导致计算结果离奇错误。5. 常见问题速查表与实操小技巧5.1 高频报错对照表这里我把这些年踩过的坑汇总成一张速查表每一条都是实际遇到过的现象或报错原因解决办法syntax error in expression算术表达式里变量为空或未定义用${var:-0}给默认值或先判断非空value too great for base数字前导0被当作八进制用10#08显式声明十进制expr: syntax errorexpr表达式里运算符被shell解释用反斜杠转义\*、\或用引号包裹integer expression expected用test或[[ ]]比较浮点数改用bc比较或awk处理echo 3/2bc输出1scale默认为0小数被截断bc: command not found系统没装bc安装bc或者改用awkawk里0.10.2输出0.3double近似精度问题用printf %.17f看真实值精确计算用bcPython报语法错误引号嵌套或变量注入问题用sys.argv传参避免直接拼接代码字符串5.2 三个从实践中总结的小技巧技巧一用here-string代替管道。echo scale2; 7/3 | bc这种写法要额外启动一个echo进程管道还会带来一些边缘怪癖。更清爽的写法是bc scale2; 7/3这里是bash的here-string直接把字符串作为标准输入传给bc少一个进程代码也更干净。技巧二循环里不要反复启动外部计算器。如果你写了一个for循环循环体里每次都调用bc或python3性能会非常糟糕因为每调用一次都要fork一个进程一万次循环就是一万次进程创建。更好的做法是把计算集中到一次调用里。比如要算一万个数除以7的结果直接用awk一次搞定awk BEGIN{for(i0;i10000;i) printf %.2f\n, i/7} result.txt同样是做浮点计算awk一个进程就跑完速度能快几个数量级。技巧三bc不四舍五入需要时自己加0.5。因为bc的scale是截断而不是四舍五入想让结果四舍五入到整数正数可以加0.5再截断echo scale0; (3.6 0.5)/1 | bc # 输出4 echo scale0; (3.4 0.5)/1 | bc # 输出3负数的处理要更小心因为它截断的方向是向零取整。如果对负数做四舍五入建议直接用awk的printf %.0f它对正负数的四舍五入行为更接近直觉。多说一句实际体会我在Linux下写脚本时最常犯的错就是把bash的整数运算能力当成万能工具遇到所有数值都顺手$(( ))一把梭直到某次监控报表里出现一堆莫名其妙的整数才发现问题。从那以后我养成了一个习惯动手前先问自己一句“这是整数还是小数会不会超长”然后根据答案选工具。整数小运算用$(( ))小数运算用bc或awk大整数直接上Python3这套组合拳打下来数值计算基本不会再出幺蛾子。
Linux数值运算避坑指南：整数、浮点与大整数实战
在Linux下做数值运算看着是件小事真正上手的时候坑远比想象的多。bash里直接用$(( ))算整数没问题一遇到小数就静默截断想算个精确的浮点数除法又得引入bc、awk这些外部工具再碰上几十位的大整数加减乘除shell自带的64位整数直接溢出结果对不上也没人提醒。这篇文章就把我在Linux下处理整数运算、浮点数运算的真实经验整理出来从bash内置方案到bc、awk再到大整数场景一步步讲清楚每个工具能干什么、有什么坑适合刚接触Linux脚本的同学也适合在运维和数据处理中经常被数值结果坑过的老手。1. 为什么Linux下的数值运算不能随手一算痛点与工具全貌1.1 一个真实的运维小场景CPU使用率算出了14先讲个我实际踩过的坑。有次写监控脚本需要从top输出里取CPU空闲率再用100减掉算出使用率。脚本大概长这样#!/bin/bash idle$(top -bn1 | grep %Cpu | awk {print $8} | tr -d %) echo $((100 - idle))看起来没毛病但跑出来结果经常是14之类的整数明明手动看top时CPU使用率应该是14.5%。问题就出在top输出的idle值里带了小数点而bash的算术展开$(( ))只认整数于是把14.5直接截断成14再算100-14。结果不是精度差一点的问题是逻辑上就不对。这个场景特别典型Linux下默认的数值计算入口根本就不是给浮点数准备的。1.2 工具矩阵谁适合干什么活在Linux里做数值运算首先要建立一张工具地图。不同工具有不同的精度、性能和适用场景选错工具的结果就是要么报错要么静默出错。我根据自己的使用经验整理了一张表工具整数运算浮点运算大整数典型场景bash$(( ))支持不支持不支持64位溢出循环计数、状态标记、简单整数计算let/declare -i支持不支持不支持脚本内整数赋值与累加expr支持不支持不支持老脚本兼容、面试题bc支持支持支持高精度小数、任意进制转换awk支持支持有限double精度文本流逐行计算、格式化输出python3支持支持支持任意精度复杂计算、大整数、科学计算从这张表能看出一个规律越专业的数值计算任务越要交给专门的工具。bash内置运算只适合处理“小整数”一旦需要小数、高精度或者超长整数就得换赛道。1.3 为什么bash不肯支持浮点数一个设计取舍很多人第一次在bash里算小数时都会骂一句为什么好好的shell不做浮点其实这是有意的设计取舍。bash的算术模型继承自C语言整数直接映射到C的long类型在64位系统上就是64位有符号整数。浮点运算则是另一套体系涉及IEEE 754的二进制表示、舍入规则、精度处理如果把这些全部塞进shell核心会让shell变得无比臃肿。Linux的设计哲学是“一个工具只做一件事组合起来完成复杂任务”。shell的本质是进程管理和文本流处理数值计算完全可以交给外部进程。所以bash只保留了最轻量的整数算术把小数的活外包给bc、awk把大整数的活外包给Python、dc。明白这个设计逻辑之后你就不会纠结“为什么bash这么弱”而是会开始思考“我这个场景该调用哪个工具”。2. 整数运算四件套所有方案对比与实操细节2.1$(( ))算术展开最常用的方案$(( ))是bash里处理整数运算的首选也是我日常用得最多的。它支持完整的算术运算符包括加减乘除、取模、幂运算、位运算和逻辑运算echo $((10 5)) # 15 echo $((10 / 3)) # 3整数除法直接截断 echo $((10 % 3)) # 1取余 echo $((2 ** 10)) # 1024幂运算 echo $((10 3)) # 1比较成立这里有几个细节值得注意。第一变量在$(( ))内部可以直接写名字不用加$前缀加了也没关系但没必要。第二bash 4.3之后的版本支持和--自增减操作写法跟C语言一样注意前置和后置的区别i5 echo $((i)) # 输出5i变成了6 echo $((i)) # 输出7先自增再取值第三(( ))不带$时还能作为独立的算术判断命令用在if或while里非常顺手if (( i 0 )); then echo positive fi用双括号做条件判断比用test和[ ]要舒服得多不需要各种转义直接写数学表达式就行。2.2let与declare -i脚本里的另类玩法let是比$(( ))更老牌的整数运算命令现在很多脚本里还在用。let可以直接对变量做算术赋值let a10 let a5 echo $a # 15let有个出名的坑等号两边不能有空格。let a 1会直接报语法错误报错信息长得很吓人。如果你非要在表达式里加空格必须把整个表达式用引号包起来比如let a 1。我自己写脚本时会尽量不用let因为它的写法跟$(( ))相比没有优势反而容易在空格上栽跟头。declare -i是另一种方式它声明变量为整数类型之后对这个变量做赋值时右侧的算术表达式会自动求值declare -i n5 nn5 echo $n # 10注意赋值时nn5右边没有$(( ))也没有空格bash会自动计算。这个写法在需要大量累加的场景里很简洁但同样有坑如果给整数变量赋了一个无法解析为数字的字符串变量会静默变成0比如declare -i n5; nabc; echo $n输出0错误被悄悄吞掉了。2.3expr外部进程的经典遗老expr是Linux上古时代流传下来的外部命令功能很全面包括数值运算、字符串匹配、比较判断等。但你要知道它是外部命令每次调用都要启动一个进程性能比bash内置运算差很多。写法上也有相当多的规矩expr 10 5 # 15参数之间必须有空格 expr 10 \* 5 # 50乘法必须转义星号 expr 10 \ 5 # 1大于号也要转义*必须转义是因为shell会把它当成通配符展开会被当成输出重定向(、)也需要转义。在循环里调用expr一万次速度比$(( ))慢几十倍。现在的脚本基本都抛弃它了但你依然要在老代码和面试题里见到它至少得能看懂别被expr 2 \* 3里的反斜杠吓到。2.4 整数运算的边界溢出与前导零陷阱bash的$(( ))在64位系统上使用64位有符号整数范围是-9223372036854775808到9223372036854775807。超出这个范围会发生什么静默回绕像钟表走到12点又回到1点echo $((9223372036854775807 1)) # 输出 -9223372036854775808没有报错没有警告结果直接变成负数。这是shell内置整数运算最阴险的特性。另一个常见的坑是前导零。bash会把以0开头的数字当成八进制所以$((08 1))会报错因为8不是合法的八进制数字。处理月份、日期这类天然带前导零的数据时特别容易踩month08 echo $((month 1)) # 报错 value too great for base echo $((10#08 1)) # 9用10#显式指定十进制写脚本处理带前导零的序号时记住这个10#的写法能救你于水火之中。3. 浮点数运算bc与awk的完整实操3.1 bcscale才是精度控制的命门bc是Linux下最经典的任意精度计算器也是我处理浮点数时最常用的工具。它通过管道接收表达式最简单的用法是echo 3 / 2 | bc输出是1而不是1.5。这是因为bc的默认精度scale是0除法结果的小数位数被截断成0位本质上就是在做整除。要拿到小数必须先设置scaleecho scale2; 3 / 2 | bc # 输出 1.50这里有个关键认知scale只控制除法、乘法、幂运算等结果的小数位数而且bc是直接截断不做四舍五入。比如scale2; 7/3的结果是2.33而不是2.34。bc还支持一次传入多条表达式用分号分隔还可以定义变量和函数它本质上是一门完整的计算语言echo scale4; x10; y3; x/y * 2 | bc如果加载了数学库还能用更多函数。在GNU bc里-l参数会载入标准数学库提供sqrt()、s()正弦、c()余弦、l()自然对数、e()指数等函数同时默认把scale设为20echo sqrt(2) | bc -l # 输出 1.414213562373095048803.2 进制转换ibase和obase的顺序坑bc的另一个强大能力是任意进制转换用obase设置输出进制用ibase设置输入进制。这个功能在处理二进制、十六进制数据时非常方便echo obase2; 255 | bc # 输出 11111111 echo obase16; 255 | bc # 输出 FF但对初学者来说ibase和obase的设置顺序是个著名的坑。因为一旦设了ibase后面所有数字的解析规则都会改变。比如你想把二进制11111111转成十六进制如果写成echo ibase2; obase16; 11111111 | bc这里obase16里的16会被当成二进制数字来解析结果完全乱套。正确的做法是先设置obase再设置ibase或者反过来让obase的目标进制用当前进制表示echo obase16; ibase2; 11111111 | bc # 输出 FF另一个底层技巧是如果已经设置了ibase2想让obase变成十六进制可以把obase设置成二进制下的10000因为二进制的10000就是十进制的16echo ibase2; obase10000; 11111111 | bc # 输出 FF这种写法在需要动态设置进制的脚本里有奇效。3.3 awk在文本处理中顺手算浮点awk本身就是一个完整的文本处理语言内置浮点运算能力非常适合在管道中一边读数据一边计算。比如计算磁盘使用率df / | awk NR2{printf used%.2f%%\n, $3/$2*100}awk的数值运算规则和C语言一致printf还能直接格式化输出保留小数位数、控制宽度都方便。这在做报表、监控脚本时是杀手锏因为你不需要先把数据提取出来再喂给bcawk可以在扫描每一行的同时完成计算awk {sum$1} END{printf avg%.2f\n, sum/NR} numbers.txtawk的浮点类型是双精度double支持sqrt()、sin()、cos()、log()等数学函数。需要注意awk同样遵循IEEE 754所以它也会遇到double的精度边界这一点下一节细说。3.4 浮点精度问题0.1 0.2 不等于 0.3 的真相在awk里做个简单测试awk BEGIN{x0.1; y0.2; printf %.17f\n, xy}你会看到类似0.30000000000000004的输出。这不是awk的bug而是IEEE 754双精度浮点数的固有特性。十进制小数转成二进制时很多数字是无限循环小数比如0.1在二进制里就是0.00011001100110011...计算机只能存一个近似值。两个近似值相加结果自然就不精确了。明白这个原理后你就知道为什么金融计算、精确统计这类场景不能直接用awk或bash的浮点数。如果要求精确用bc这类十进制运算工具或者用Python的decimal模块而不是double。bc计算的是十进制数每个数字按scale指定的位数保留不存在二进制近似的问题所以echo scale2; 0.1 0.2 | bc能得出精确的0.3。4. 大整数运算突破64位限制的实战4.1 哪些场景会碰到大整数先明确一下“大整数”的定义超过64位有符号整数范围9223372036854775807的数或者是一些虽然单个数不超、但中间运算结果会超出的场景。常见场景包括分布式ID、雪花算法生成的ID动辄就是19位以上的数字时间戳纳秒级运算date %s%N输出的是秒加纳秒接近19位做差值或倍数运算很容易逼近边界密钥生成、哈希、签名相关的测试数据经常需要处理几百位的数字面试题里也经常出现“大整数的加减乘除运算”因为这是一个很能考察底层功底的题目。先用bash试试能撑到多大echo $((2 ** 62)) # 4611686018427387904 echo $((2 ** 63)) # -9223372036854775808溢出回绕2**63按说是个正数结果却变成了负数而且没有报错。这就是shell内置整数运算的天花板再往上就只能换工具了。4.2 Python3最省心的大整数方案Python3的int类型是任意精度的底层用可变长数组存储想算多长的整数都行。这是我在Linux下处理大整数的首选方案因为它足够简单还不用学新语法python3 -c print(123456789 * 987654321) # 输出 121932631112635269这个数字已经大于32位整数范围Python还是精确算出来了。更大的例子也毫无压力python3 -c print(123456789123456789 * 987654321987654321)输出一个37位的完整数字不溢出、不丢精度。如果要在脚本里传变量给Python最好用sys.argv而不是直接拼接字符串n123456789123456789 python3 -c import sys; print(int(sys.argv[1]) * 2) $n这样做的好处是避免恶意内容注入也能防止bash把大数字当成数值类型处理时发生意外解析。Python还提供decimal模块做高精度十进制运算如果既要大整数又要浮点数可以用它控制有效位数python3 -c from decimal import Decimal, getcontext; getcontext().prec50; print(Decimal(1)/Decimal(3))4.3 bc与dc老牌工具也能扛大数很多人不知道bc其实也能算大整数因为它本身就是任意精度十进制计算器。直接把大数字写进表达式就行echo 123456789 987654321 * p | dc echo 123456789 * 987654321 | bc两条命令都能输出121932631112635269。如果你的系统里没有Python比如极简容器环境bc和dc就是最后的依靠。dc是bc的兄弟但用逆波兰式RPN语法操作数在前、运算符在后echo 123456789 987654321 * p | dcp表示打印栈顶结果。dc同样是任意精度还支持用k命令控制小数位数echo 3 k 1 3 / p | dc # 输出 .333注意dc的输出里没有前导0这是它的风格。RPN的入栈顺序容易搞混记住先出现的数先入栈所以10 3 - p输出7也就是10减3。dc的命令不多日常够用的有p打印、f打印整个栈、d复制栈顶、r交换栈顶两个元素。4.4 大整数运算的选型建议从我实际使用的经验来看大整数运算可以按这个优先级选型系统有Python3直接用Python可读性和扩展性最好只有极简环境用dc或bc它们几乎在所有Linux发行版里都有如果是密码学级别的大数运算比如RSA相关计算建议直接用openssl工具或者完整代码库不要自己用shell拼因为中间步骤的细节太多shell单行命令很难保证正确性。不管选哪种都要记得在传入数据前做一次合法性校验确认字符串是纯数字避免因为中间夹杂空格或符号导致计算结果离奇错误。5. 常见问题速查表与实操小技巧5.1 高频报错对照表这里我把这些年踩过的坑汇总成一张速查表每一条都是实际遇到过的现象或报错原因解决办法syntax error in expression算术表达式里变量为空或未定义用${var:-0}给默认值或先判断非空value too great for base数字前导0被当作八进制用10#08显式声明十进制expr: syntax errorexpr表达式里运算符被shell解释用反斜杠转义\*、\或用引号包裹integer expression expected用test或[[ ]]比较浮点数改用bc比较或awk处理echo 3/2bc输出1scale默认为0小数被截断bc: command not found系统没装bc安装bc或者改用awkawk里0.10.2输出0.3double近似精度问题用printf %.17f看真实值精确计算用bcPython报语法错误引号嵌套或变量注入问题用sys.argv传参避免直接拼接代码字符串5.2 三个从实践中总结的小技巧技巧一用here-string代替管道。echo scale2; 7/3 | bc这种写法要额外启动一个echo进程管道还会带来一些边缘怪癖。更清爽的写法是bc scale2; 7/3这里是bash的here-string直接把字符串作为标准输入传给bc少一个进程代码也更干净。技巧二循环里不要反复启动外部计算器。如果你写了一个for循环循环体里每次都调用bc或python3性能会非常糟糕因为每调用一次都要fork一个进程一万次循环就是一万次进程创建。更好的做法是把计算集中到一次调用里。比如要算一万个数除以7的结果直接用awk一次搞定awk BEGIN{for(i0;i10000;i) printf %.2f\n, i/7} result.txt同样是做浮点计算awk一个进程就跑完速度能快几个数量级。技巧三bc不四舍五入需要时自己加0.5。因为bc的scale是截断而不是四舍五入想让结果四舍五入到整数正数可以加0.5再截断echo scale0; (3.6 0.5)/1 | bc # 输出4 echo scale0; (3.4 0.5)/1 | bc # 输出3负数的处理要更小心因为它截断的方向是向零取整。如果对负数做四舍五入建议直接用awk的printf %.0f它对正负数的四舍五入行为更接近直觉。多说一句实际体会我在Linux下写脚本时最常犯的错就是把bash的整数运算能力当成万能工具遇到所有数值都顺手$(( ))一把梭直到某次监控报表里出现一堆莫名其妙的整数才发现问题。从那以后我养成了一个习惯动手前先问自己一句“这是整数还是小数会不会超长”然后根据答案选工具。整数小运算用$(( ))小数运算用bc或awk大整数直接上Python3这套组合拳打下来数值计算基本不会再出幺蛾子。
