这是fengyqf的博客
（如每日最多请求50次内容页）｛仅稍微增加了采集难度，延缓被脱库时间｝
技术方案参考：
至少要包括：接口名，参数名，参数值。可以考虑如下[……]
对重要数据变动，做日志记录，必要的保留历史版本。可选技术方案：将所有历史版本数据存储在k-v表中，允许随时丢失部分或全部
允许这类数据存储在易失性设备上，如内存缓存。允许随时丢失部分或全部，程序不得崩溃（鲁棒性）
自己擦屁股，自动归档旧数据，尤其是存储到数据库中的旧数据，如日志表，临时文件等。至少要有相关文档，指明哪些是此类数据，如何清理，清理是否会带来后遗症（理想 状态是可以任意删除，程序本身健壮工作）
uv, pv, 类似GA ，或者直接使用第三方服务
单个用户的足迹，按用户、回话划分。登陆用户的[……]
OpenStreetMap是一个可供自由编辑的世界地图，它是由像您这样的用户创造的。OpenStreetMap允许您查看，编辑或者使用世界各地的地理数据来帮助您。web: http://www.openstreetmap.org/
CGIAR-CSI, 90m精度的全球GIS数据 Free SRTM 90m Data for the entire world – FREE GIS web: http://srtm.csi.cgiar.org/SELECTION/inputCoord.asp
全球地形图，还可叠加[……]
典型用途：csv文件导入到数据库时，用于规划字段长度
$ cat file.csv |awk -F “,” -v fields_count=10 ‘BEGIN{for(i=1;i<=fields_count;i++){xcount[i]=0}} {for(i=1;i<=fields_count;i++){if(xcount[i]<length($i) ){xcount[i]=length($i)}}} END{for(i=1;i<=fields_count;i++){print i,xcount[i]}}’
坚持使用cygwin下的python，只有一个原因，要使用cygwin环境下unix/gnu-linux工具；但，毕竟cygwin不是真正的unix/linux，有一些问题貌似无法解决的，钻牛角尖折腾半天，结果还是失败，所以有必要做个踩坑记录，或者也可以说是踩雷记录。
貌似无解的一些包
[psutil (process and system utilities) is a cross-platform library for retrieving information on running processes and system utilization (CPU,[……]
cygwin是让windows获得unix/linux部分功能的一个神器，本文是个人的一些经验，推荐初学者参考。有一经验的读者也可参阅斧正。
cygwin是运行在windows下的GNU/linux环境，包含了几乎所有的常用Linux软件，使用上跟linux高度一致。由RedHat主导开发。cygwin官网
到cygwin官网上下载安装程序： setup-x86.exe (32-bit ) or setup-x86_64.exe (64-bit )。双击运行，有安装向导，照做即行。
其中有两个路径一个url，有必要关注一下：[……]
ubuntu下安装stm32开发环境 秒杀keil和IAR http://www.amobbs.com/thread-5568167-1-1.html
常用的开源无人飞行器项目分享 http://bbs.kechuang.org/read/60433
[……]
分两步处理，第一步是将csv导入到mysql。没有使用mssql自带客户端的导入功能，因为这个功能太坑，尝试N多种方法仍然是报错，因此选择先转换成mysql做中间步骤。
一批很大的csv数据（其实并非csv，而是制表符分隔字段），要导入到mssql数据库里。
首先在cygwin下使用awk对数据做预处理，只筛选出字符数正确的行。并且在首行加入列名，以便导入工具自动做列对应。
然后计算各字段最大长度；因为字段数太多（63个），所以计算一下，用于构造create table语句。对于最大长度在255以下的字段使用varchar(n)型，255以上使用[……]
> 这个问题应该在php5.5.30 与 7.3.11中不再出现。或许，这是灵异问题。 因为近年一直使用在apache里以fast-cgi模式开以一个php5.3运行phpmyadmin； 前几天偶然发现这个问题并不存在了，或许以前真的只是灵异现象。 本文所述的phpMyAdmin3.x的版本，托管在github上，随着php的版本有不定期的持续更新 phpMyAdmin3x@github
一直使用的phpmyadmin3.5版本（RELEASE-DATE-3.5.0,一个做了配置优化的版本 phpMyAdmin_3.5_path8.net），这个版本比较简洁，不[……]
max osx下的apache实在别扭，配置文件被拆得支离破碎（虽然有点拆分还是有道理的），这倒可以慢慢适应。无语的是竟然报403错:
apache you don’t have permission to access / on this server. mac
Apache/2.4.16 (Unix) PHP/5.5.29
google后，得知，要在Directory指令里，增加一条 Require all granted，如下示：
<Directory "/Users/jnovack/Sites/">
Options Indexes MultiVie[......]