写一个Python程序,应用功效系数法,0-100映射到40-100区间
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
Python内容推荐
Python 练习题100道
Python 练习题100道
Python从菜鸟到大神的100道经典练习题
从菜鸟到大神的100道经典练习题
用100多行python代码写一个数据库
数据库的名字叫WawaDB,是用python实现的。由此可见python是灰常强大啊! 简介 记录日志的需求一般是这样的: 只追加,不修改,写入按时间顺序写入; 大量写,少量读,查询一般查询一个时间段的数据; MongoDB的固定集合很好的满足了这个需求,但是MongoDB占内存比较大,有点儿火穿蚊子,小题大做的感觉。 WawaDB的思路是每写入1000条日志,在一个索引文件里记录下当前的时间和日志文件的偏移量。 然后按时间询日志时,先把索引加载到内存中,用二分法查出时间点的偏移量,再打开日志文件seek到指定位置,这样就能很快定位用户需要的数据并读取,而不需要遍历整个日志文件。 性能 Core 2 P8400,2.26GHZ,2G内存,32 bit win7 写入测试: 模拟1分钟写入10000条数据,共写入5个小时的数据, 插入300万条数据,每条数据54个字符,用时2分51秒 读取测试:读取指定时间段内包含某个子串的日志 数据范围 遍历数据量 结果数 用时(秒) 5小时 300万 604 6.6 2小时 120万 225 2.7 1小时 60万 96 1.3 30分钟 30万 44 0.6 索引 只对日志记录的时间做索引, 简介里大概说了下索引的实现,二分查找肯定没B Tree效率高,但一般情况下也差不了一个数量级,而且实现特别简单。 因为是稀疏索引,并不是每条日志都有索引记录它的偏移量,所以读取数据时要往前多读一些数据,防止漏读,等读到真正所需的数据时再真正给用户返回数据。 如下图,比如用户要读取25到43的日志,用二分法找25,找到的是30所在的点, 索 引:0 10 20 30 40 50 日志:|.........|.........|.........|.........|.........|>>>a = [0, 10, 20, 30, 40, 50]>>>bisect.bisect_left(a, 35)>>>3>>>a[3]>>>30>>>bisect.bisect_left(a, 43)>>>5>>>a[5]>>>50 所以我们要往前倒一些,从20(30的前一个刻度)开始读取日志,21,22,23,24读取后因为比25小,所以扔掉, 读到25,26,27,...后返回给用户 读取到40(50的前一个刻度)后就要判断当前数据是否大于43了,如果大于43(返回全开区间的数据),就要停止读了。 整体下来我们只操作了大文件的很少一部分就得到了用户想要的数据。 缓冲区 为了减少写入日志时大量的磁盘写,索引在append日志时,把buffer设置成了10k,系统默认应该是4k。 同理,为了提高读取日志的效率,读取的buffer也设置了10k,也需要根据你日志的大小做适当调整。 索引的读写设置成了行buffer,每满一行都要flush到磁盘上,防止读到不完整的索引行(其实实践证明,设置了行buffer,还是能读到半拉的行)。 查询 啥?要支持SQL,别闹了,100行代码怎么支持SQL呀。 现在查询是直接传入一个lambada表达式,系统遍历指定时间范围内的数据行时,满足用户的lambada条件才会返回给用户。 当然这样会多读取很多用户不需要的数据,而且每行都要进行lambda表达式的运算,不过没办法,简单就是美呀。 以前我是把一个需要查询的条件和日志时间,日志文件偏移量都记录在索引里,这样从索引里查找出符合条件的偏移量,然后每条数据都如日志文件里seek一次,read一次。这样好处只有一个,就是读取的数据量少了,但缺点有两个: 索引文件特别大,不方便加载到内存中 每次读取都要先seek,貌似缓冲区用不上,特别慢,比连续读一个段的数据,并用lambda过滤慢四五倍 写入 前面说过了,只append,不修改数据,而且每行日志最前面是时间戳。 多线程 查询数据,可以多线程同时查询,每次查询都会打开一个新的日志文件的描述符,所以并行的多个读取不会打架。 写入的话,虽然只是append操作,但不确认多线程对文件进行append操作是否安全,所以建议用一个队列,一个专用线程进行写入。 锁 没有任何锁。 排序 默认查询出来的数据是按时间正序排列,如需其它排序,可取到内存后用python的sorted函数排序,想怎么排就怎么排。
PYTHON蓝桥杯100题
PYTHON蓝桥杯100题
Day31-40_python100_python_40_
100天掌握python的第三部分,31天到40天
Python基础训练100题(带答案).docx
Python3 100例实例001:数字组合实例002:“个税计算”实例003:完全平方数实例004:这天第几天实例005:三数排序实例006:斐波那契数列实例007:copy实例008:九九乘法表实例009:暂停一秒输出实例010:给人看的时间实例011:养兔子实例012:100到200的素数实例013:所有水仙花数
Python练习题100题(带答案).docx
100道编程题
Python100个小例子.pdf
Python100个小例子.pdf
Python100经典练习题.docx
Python100经典练习题.docx
Python100经典练习题精简版.docx
Python100经典练习题精简版.docx
python经典例题100道.pdf
python经典例题100道.pdf
经典Python100例(2.X)
经典Python100例(2.X)
Python100道经典练习题 Python考试练习题目 Python题库 共42页.pdf
Python100道经典练习题 Python考试练习题目 Python题库 共42页.pdf
100道Python编程题及答案(一).pdf
。。。
Python期末考试题 Python程序设计考试题 Python编程期末测评题目 共22页
Python期末考试题 Python程序设计考试题 Python编程期末测评题目 包含选择题、填空题、程序理解题、程序填空题、程序设计题
Python进度条
from PyQt5.QtWidgets import QWidget, QProgressBar,QPushButton, QApplication from PyQt5.QtCore import QBasicTimer,QCoreApplication import sys class Example(QWidget): def __init__(self): super().__init__() self.settings() def settings(self): self.progressbar = QProgress
python经典例题100道.doc
Python
我喜欢你 抖音表白程序python版
我喜欢你,这篇文章主要为大家详细介绍了抖音表白程序python版的实现方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
python建模实例
有关于python建模的一个简单实例,对初学者会有很多帮助
python matplotlib绘制动态曲线 数据流可视化
很多时候需要在程序运行过程中,查看一些数据的动态变化,最容易想到的是像opencv那样直接循环使用imshow()形成动态画面,但是由于matplotlib中的显示模式是阻塞模式,在plt.show()之后程序就会暂停在那,打开一个窗口以后必须关掉才能继续执行,这样用matplotlib画动态图就像播放ppt,关闭一个窗口后弹出下一个。关于matplotlib包的任何信息都可以直接在它官网查询。本文总结了几种方法实现在程序运行中绘制动态图的方法,以画动态正弦曲线为例。 第一种方法:plt.show()放在程序最后 既然plt.show会阻塞后面的程序,那么就把plt.show放在程序最后。另外
最新推荐





