一周概览Hello 大家好，稳定代理ip我是云菜鸡，停车做爱枫林晚，技术好的混不惨。本周主要话题有：对象存储，数据库，安全，容器,K8S等相关话题；当然，如果您阅读技术类话题感到困难，Q10是为您准备的。
Q1 AWS S3静态文件托管求大佬帮忙给看下，在S3上做的静态文件部署 现在打开后不是浏览而是下载，有什么办法么？
管理里托管静态网页
cgi配置有问题吧
Head
静态文件没解析
header里面mime type不对
Content-disposition改成inline就行了
好的好的，谢谢大佬们
Q2.1 AWS RDS 连接问题大哥们第一次用亚马逊的数据库 是不是这样建好了就可以连接了啊。有点懵逼
测试一下看看网络
只稳定代理ip有一个用户名和密码 没有IP啥的 咋测试啊？
建一个 ec2 实例 然后 连接
我现在有个ec2的实例，用命令去连吗？
对，先登录 实例
直接用账号密码就可以连了？
你看命令 需要 db的endpoint 还有账号密码啥的，具体的db 可以参考它自己的连接命令格式
mysql -u admin -h xxx -p
整个这一串都是是吧
是的 都是
我本机还要装一个mysql吗？不然没这个命令
肯定啊 不然就下工具呀
对了 我听说好像是不是不能用工具连啊 只能用ec2去连，想用navicat去连 方便点
弄个windows 的跳板机，去装了windws 的ec2上装navicat
Q2.2 AWS Aurora 性能相关问个问题 aws aurora cpu一直都很高 然后删除了几十个没用的数据库 CPU下来了 稳定代理ip这是啥原因？
看日志啊，这样问哪个大佬能给你解答？
看日志啊，看进程啊，show full processlist\G
能说一切正常吗?平均40% 删除完变成10%,而且这些数据都是无用数据都没有去调用 ,看监控最耗时的语句 都是 SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE ,遍历所有的存储过程
当前CPU还高吗
高的话 链接到数据库里 查看 show full processlist\G
然后 找到time时间最长的那个语句看看是什么语句.
时间最长的就是这句了，SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE
多长时间啊？怎么看的 拍照发下啊
慢的时间 是这个sql 吗，cpu 性能图看下
对 这个sql还不是我们调用的sql
这个是系统的sql 多并发
我意思 你cpu高的时间点 有其他慢sql吗 除了这个，感觉这个不是病因
没有 只有这个
show full processlist\G，稳定代理ip你执行下这个看看 什么结果？而且慢日志有没有开启 把慢日志下载 下来 看一看，另外这个sql 的发起者是哪个用户
慢日志一样是它，SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE 数据库名 AND ROUTINE_NAME LIKE UorI;
是主用户执行的这个语句吗？找到cpu最高的时间点 看看这个语句的慢日志信息 看看能看出 是程序里有调用这个 系统查询的视图 还是 aws 自身调用查询的，比如之前我这遇到过的 类似的
分析一下因果关系 哪里调用的 是aws的问题 还是程序搞的
Q3 AWS WAF相关@钞能力 waf稳定代理ip有限制访问频率的功能吗？加十分
感觉应该会有的吧，我从来没用过
@张钉 老板，别睡了。waf有限制访问频率的功能吗？比如在五分钟内只允许这个IP 1000个请求。
有
你说有就放心了，我去挖坑了.
十年前我用的安全狗都有这个功能，专门的waf应该不会没有吧
安全狗的功能已经做得非常齐了，waf好像要配置
目测waf上应该像规则引擎一样，要自己配置规则的
aws不会那么人性化啦
+1 一个rate 设置
Q4 安全相关你们服务器没限制inbound 跟 outbound吗？
只限制in 不限制out
都要限制，outbound限制了之后不容易被下载数据库，还有下载攻击脚本，限制outbound之后这些脚本就废了，我们昨天数据库也被攻击了，出口到一个tor的代理服务器，要把0.0.0.0/0的out删了
稳定代理ip我都没信心搞这些防护,直接躲在负载均衡器后面了事，我这种技术有限的只能这样咯,不敢跟大神 掰头
有漏洞一样会有入侵的
漏洞肯定是有的，我天天看那个ecr爆上面openssl的漏洞，就没停过好吧，更别说那些乱七八糟的白嫖来的开源库
做好网络划分，保持最小开放原则，养成良好的访问习惯。就抵御大部分了。意思是程序上的漏洞，比如能上传执行等。后端一样会被拿到
你问问他们所有lib都做代码审查了吗，假如啊，自己写的代码没漏洞，你们公司怎么保证第三方的lib没漏洞，有什么东西背书吗？
唉,稳定代理ip谁又能保证呢，没法保证
怎么保证，保证不要有提出这个需求的人
每一条第三方的lib的代码都做了审查，就行了
为什么引用第三方的，不把文件本地化，还直接 url 到开源库上
软件就是一层层依赖堆起来的
是这个理
Q5 AWS EC2 时钟同步问题大佬们 aws ec2 机器时间怎么同步？
vpc 提供 ntp，你可以自己装个工具，比如 chrony，ntp 在宿主主机上，应该是 169.254.169.123，记得是不需要额外的网络策略放行
启动一下这个服务就自动同步了么？
sudo dnf -y install chrony
sudo vi /etc/chrony.conf
server 169.254.169.123 prefer iburst -- Edit line 2 to Use AWS VPC Host Server
sudo systemctl enable chronyd
sudo service chronyd restart
sudo chronyc sourcestats -v
sudo chronyc -a makestep
谢谢
Q6 AWS Cloudwatch 监控相关cloudwatch得CPU分析图，有办法实时导出吗？
cloudwatch exporter，配合Prometheus，或者是直接用Grafana接入
用python能调官方SDK包能实现么？
我说可以稳定代理ip不可以重要吗？可以你也不会啊
问题是，公司让我做。
你的问题是，你的需求超出了你的能力，可以做，你还会问怎么做，不如外包给群友，帮你写代码
所以公司让我学啊，害，官方得SDK包有这个功能么？
你写过代码么？你要做的是自己渲染一个图，SDK让你获取指标，具体怎么渲染自己写代码实现
aws 有官网的 sdk 你去找响应的功能 通过api 获取数据然后在弄图吧
他们说cloudwatch有现画得图，不用自己再弄图，问题是我没找到，我是公司得新人。刚入行他们给布置的任务，我没啥头绪
这啥公司啊
啥公司我也的做呀，我需要稳定代理ip一个方向然后去找资料，我连思维导图都画不出来
你是不是没开发过相关功能啊？
刚毕业，学习也就学了基本python 啥的，公司说可以给我学习的机会 但是都是自学，谁会做给点方向呀大佬们 我在这翻了半天cloudwatch得BOTO3 没找到这个功能啊
Cloudwatch 我不会，你把最终需求阐述明白点 让其他朋友 给你引路吧
需求：在ECS中获取task id 根据task id获取cloudwatch中相应任务的CPU和内存图得线型图
get_metric_widget_image试试
这也太贴心了，不是都告诉你了吗？
Q7 K8S 相关使用kops搭建了一个带负载均衡的k8s集群 部署dashboard，访问的时候报错，有大哥遇到过嘛？
用eksctl，别用kops
没权限，账户授权失败
稳定代理ip我看这个直接加了elb就试了试，集群是搭好了就是部署上dashboard访问不了，明天上班和他们说说
eks比你这个省事还便宜点
他们就是瞎搞心血来潮，主要是数据组有个大哥了解k8s，他就想搭，也是个半吊子
……那就让他搞，你看着得了
这不是他和我一起搞，我听他的，一开始是给他建了三台ec2他没搞成，今天他说用kops，给我发了个链接，咱也不敢说
他搭建发给你干啥….🤔️
他没有账号权限，然后过来指挥我
发邮件申请账号咯，或者直接给ec2的用户不就得了
大哥们 eks搭好集群后部署dashboard 能在外部访问么？把这个localhost改成公网IP？
elb 暴露svc不就行了
这次没弄elb，顺着eks下来的，但是我curl 的时候 timeout，稳定代理ip大哥们这样行么？
看着没问题，你用了nodeport 就 node ip:3001，默认就是cluster-ip，curl的timeout值改大一下试试
额 这个nodeIp是哪里看？我也没给他分配？
建议用kubectl expose来搞，我觉得你的label标签其实没匹配对，比如你创建了deploy，直接用kubectl expose来做，比较清楚明白
行 我再试试，ok了
Q8 AWS S3 数据迁移请问我有1.5TB的数据在s3 里面 现在想把他们转移到另外一个s3的bucket里面 中间会有一点数据transformation 怎样做最高效快捷？全是parquet file
rclone
等于源s3还在不段的写入?
直接cli sync就行了，如果你有别的数据还有写入，aws还有个功能1.5T拷贝很快的，我们50T都是sync的，aws那个复制，可以做到增量
稳定代理ip你再读一下他的需求
我还去查了一下transformation的意思，
What is Data Transformation? Data transformation is the process of converting data from one format to another. The most common data transformations are converting raw data into a clean and usable form, converting data types, removing duplicate data, and enriching the data to benefit an organization.
你们为什么说直接复制呢？
对的 这个transformation 我想要改文件名字顺便，把yyyy-mm-dd 改成yyyy/mm/dd，所以不可以直接复制
写个lamdba可以搞定
lambda timeout 只有15 分钟，这么多数据肯定超时所以问问大家有没有什么好主意
ec2 里跑程序，迁移里面有字段映射么？，一般数据平台做数据迁移的时候，会有字段映射的功能
glue吧
这个问题已经问过很多次了，先拷过去，你再遍历修改
Q9 容器运行相关大佬们，请问个问题。
我在一个容器里面，执行 /etc/init.d/kibana start 这个命令，可以成功启动容器容器里面的kibana进程。但是，如果我稳定代理ip在容器的母机上直接执行 docker exec -it container_name /etc/init.d/kibana start 执行后，显示进程已经启动了，但是我进去容器里面去确认的时候，kibana容器还是没有启动。请问是为什么吗？ 是不是docker exec 这个命令只管当前的状态？
这要看你在母鸡怎么退出的吧？exit的话容器会停止并退出,这两天刚看的docker
这是我在母机上执行的命令。然后我用docker exec -it container_name bash 进去容器后，检查kibana的进程，它没有启动。
如果我直接在容器里面，执行/etc/init.d/kibana start, 然后退出容器，它是可以一直启动的
……那就让他搞，你看着得了
谢谢你，真的可以的。不能要-it 要用-d后台模式@slow
劝退工程师 不在了吗
？？？
这有啥好劝退的，不懂，不害怕，稳定代理ip害怕的是不学习，不懂装懂
学太多，烦恼也越多，到点了， 该下班了
劝退 才知道自己要学的还很多，学如逆水行舟，不进则退
Q10 职场闲谈xdm，从面试通过到拿到offer，最长是多长时间啊？一个月？有比一个月时间长的吗？
3天，都通过了，啧
3天也太快了吧
有比一个月长，2.3个月的都有
一般一个月，从上家公司离职期限也是一个月,下家先找好，把位置给你留着
多谢大家,2 3 个月的有点长
不长 不长
多找好几个offer，别被放鸽子了
发了offer，不至于再被鸽子吧
正规公司不太会，在给你发offer 之前人家也在挑选，选性价比更高的
性价比高就是性能高价格低
对，最便宜那个并且能干最多那个
你不是被很多人喜欢，你只是便宜又百搭
你不是被很多人喜欢，只是给那么点钱，只有你愿意干
事实真相了
✎ 添加进群交流findingnoone