Java爬虫-爬取疫苗批次信息

        本年3月份开始，就接到通知， 根据《关于开展有关人群第二剂次脊髓灰质炎灭活疫苗补种工作的通知》国疾控卫免发〔2024〕1号文件要求，在2016年3月1日至2019年9月30日之间出生的儿童，凡无接种禁忌者，需补齐2剂次脊髓灰质炎灭活疫苗。由于我家一直是异地注射【在外漂打工，懂的都懂】，疫苗本上信息又特别有限【吐槽-六七年前的疫苗本缺陷太大了：无厂家，无备注是否口服，无备注是灭活还是减毒】，上周去注射被问及6年前的第一针是注射还是口服，瞬间被问住了，记得3年前幼儿园入学前的注射就已经被工作人员问过一次了，问脊髓灰质炎疫苗第二、三针是注射还是口服的，甲肝疫苗是活疫苗还是灭活疫苗。。。

 
        颠末网上各种搜索，通过疫苗本上写的批号到网上查询追溯，最后发现在【中国食品药品检定研究院】https://bio.nifdc.org.cn/pqf/search.do?formAction=pqfQkcx上可以查询，但是这个查询也太难用了，该网站需要厂家+疫苗名+批号三个条件查询，但我只知道批号，其它信息一概不知。。。
作为技术人员，一怒之下，写了个爬虫，把该网站近十年公布的疫苗批次信息全都抓到本地。。。
上菜：

1. <dependency>
2.    <groupId>cn.hutool</groupId>
3.    <artifactId>hutool-http</artifactId>
4.    <version>5.8.23</version>
5. </dependency>
7. <dependency>
8.    <groupId>org.jsoup</groupId>
9.    <artifactId>jsoup</artifactId>
10.    <version>1.17.2</version>
11. </dependency>
13. <dependency>
14.    <groupId>org.springframework.boot</groupId>
15.    <artifactId>spring-boot-starter-data-mongodb</artifactId>
16. </dependency>

复制代码

 

1. /**
2. * 获取疫苗批次
3. * @author zhaokk
4. * @since 2024/5/26
5. */
6. public class GetVaccinBatch {
8.     public static String BASE_URL = "https://bio.nifdc.org.cn/pqf/";
10.     public static void main(String[] args) throws IOException {
11.         String[] listUrlArray = {
12.                 //中国食品药品检定研究院
13.                 "search.do?formAction=pqfGsByJG&parameter1=1",
14.                 //北京市药品检验研究院
15.                 "search.do?formAction=pqfGsByJG&parameter1=5b6ea8c91cf9013d011cfdfbda100041",
16.                 //上海市食品药品检验研究院
17.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d2265474b0004",
18.                 //广东省药品检验所
19.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d226a9159001c",
20.                 //四川省药品检验研究院(四川省医疗器械检测中心)
21.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d226ba310001e",
22.                 //湖北省药品监督检验研究院
23.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d22697942001a",
24.                 //吉林省药品检验研究院
25.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d226392100002",
26.                 //甘肃省药品检验研究院
27.                 "search.do?formAction=pqfGsByJG&parameter1=4028813a1d225be5011d226c637d0020",
28.                 //重庆市食品药品检验检测研究院
29.                 "search.do?formAction=pqfGsByJG&parameter1=20190917c001",
30.                 //山东省食品药品检验研究院
31.                 "search.do?formAction=pqfGsByJG&parameter1=20190924c001",
32.                 //辽宁省药品检验检测院
33.                 "search.do?formAction=pqfGsByJG&parameter1=20210315c001",
34.                 //云南省食品药品监督检验研究院
35.                 "search.do?formAction=pqfGsByJG&parameter1=20210926c001",
36.                 //河北省药品医疗器械检验研究院
37.                 "search.do?formAction=pqfGsByJG&parameter1=20211011c001",
38.                 //浙江省食品药品检验研究院
39.                 "search.do?formAction=pqfGsByJG&parameter1=20210210c002"
40.         };
42.         MongoDbUtils.connect("mongodb://127.0.0.1:27017", "vaccin-batch");
43.         for (String listUrl : listUrlArray) {
44.             //发送http请求
45.             Document document = Jsoup.connect(BASE_URL+listUrl).get();
46.             Elements aList = document.select("table tr td > a");
48.             for (int i = aList.size()-1; i >= 0; i--) {
49.                 Element a = aList.get(i);
50.                 String atext = a.text();
51.                 String ahref = a.attr("href");
52.                 String publishDateStr = atext.substring(atext.length()-11, atext.length()-1);
53.                 System.out.println(atext + ":" + ahref);
54.                 System.out.println("公布日期：" + publishDateStr);
56.                 org.bson.Document saveLogDoc = new org.bson.Document();
57.                 saveLogDoc.append("notice_list_url", BASE_URL+listUrl);
58.                 saveLogDoc.append("notice_detail_url", BASE_URL+ahref);
59.                 saveLogDoc.append("notice_title", atext);
60.                 List<org.bson.Document> saveLogList = MongoDbUtils.findBy("vaccin-batch-savelog", saveLogDoc);
61.                 if(!saveLogList.isEmpty()){
62.                     System.out.println(BASE_URL+ahref + "【"+ atext + "】已存在，跳过");
63.                     continue;
64.                 }
66.                 viewDetail(BASE_URL+ahref, atext);
67.                 saveLogDoc.append("publish_date", publishDateStr);
68.                 saveLogDoc.append("create_time", DateUtil.now());
69.                 MongoDbUtils.insert("vaccin-batch-savelog", saveLogDoc);
71.             }
72.         }
74.     }
76.     public static void viewDetail(String noticeDetailUrl, String noticeTitle) throws IOException {
77. //        Document document = Jsoup.connect(noticeDetailUrl).get();
78.         Connection.Response resp = Jsoup.connect(noticeDetailUrl)
79.                 .timeout(60000)
80.                 .method(Connection.Method.GET)
81.                 .maxBodySize(0)
82.                 .followRedirects(false)
83.                 .execute();
84.         String htmlStr = new String(resp.bodyAsBytes());
86.         Document document = Jsoup.parse(htmlStr);
87.         Elements theadList = document.select("table thead tr");
88.         if(theadList.isEmpty() || theadList.size() != 2){
89.             throw new RuntimeException("未解析到信息");
90.         }
91.         Elements theadCols = theadList.get(1).select("td");
93.         Elements tbodyList = document.select("table thead + tbody tr");
94.         if(tbodyList.isEmpty()){
95.             throw new RuntimeException("未解析到信息");
96.         }
97.         for (Element row : tbodyList) {
98.             Elements cols = row.select("td");
99.             if(cols.size() != theadCols.size()){
100. //                break;
101.                 System.out.println(document);
102.                 System.out.println(noticeDetailUrl);
103.                 System.out.println(row);
104.                 throw new RuntimeException("未解析到正确的信息");
105.             }
107.             org.bson.Document mongoDoc = new org.bson.Document();
108.             for (int i = 0; i < cols.size(); i++) {
109.                 String key = FieldEnum.getName(theadCols.get(i).text());
110.                 if(StrUtil.isBlank(key)){
111.                     continue;
112.                 }
113.                 mongoDoc.append(key, cols.get(i).text());
114.             }
115.             mongoDoc.append("notice_title", noticeTitle);
116.             mongoDoc.append("notice_detail_url", noticeDetailUrl);
117.             //保存数据库
118.             MongoDbUtils.insert("vaccin-batch", mongoDoc);
119.         }
120.     }
122. }
125. /**
126. * @author zhaokk
127. * @since 2024/5/26
128. */
129. public enum FieldEnum {
131.     PRODUCT_NAME("产品名称", "product_name"),
132.     SPEC("规格", "spec"),
133.     BATCH_NO("批号", "batch_no"),
134.     QUANTITY("签发量", "quantity"),
135.     VALID_DATE("有效期至", "valid_date"),
136.     PRODUCER("生产企业", "producer"),
137.     PRODUCER_ORG("上市许可持有人", "producer"),
138.     CHECK_NO("收检编号", "check_no"),
139.     CERT_NO("证书编号", "cert_no"),
140.     REPORT_NO("报告编号", "report_no"),
141.     SIGN_DATE("签发日期", "sign_date"),
142.     SIGN_REMARK("签发结论", "sign_remark"),
143.     SIGN_ORG("批签发机构", "sign_org")
144.     ;
146.     private String remark;
147.     private String name;
149.     FieldEnum(String remark, String name) {
150.         this.remark = remark;
151.         this.name = name;
152.     }
154.     public static String getName(String remark){
155.         for(FieldEnum value : FieldEnum.values()){
156.             if(remark.equals(value.getRemark())){
157.                 return value.getName();
158.             }
159.         }
160.         return null;
161.     }
163.     public String getRemark() {
164.         return remark;
165.     }
167.     public void setRemark(String remark) {
168.         this.remark = remark;
169.     }
171.     public String getName() {
172.         return name;
173.     }
175.     public void setName(String name) {
176.         this.name = name;
177.     }
178. }

复制代码

再搭配一道菜mogodb Util，不用跑什么tomcat，运行main函数直接就是开干，最后通过Navicat等工具连上随意检索。

 

1. import com.mongodb.BasicDBObject;
2. import com.mongodb.MongoWriteException;
3. import com.mongodb.client.*;
4. import com.mongodb.client.model.Filters;
5. import com.mongodb.client.result.DeleteResult;
6. import com.mongodb.client.result.UpdateResult;
7. import org.bson.Document;
8. import org.bson.conversions.Bson;
9. import org.bson.types.ObjectId;
11. import java.util.ArrayList;
12. import java.util.List;
14. /**
15. * MongoDb 操作类
16. * @author zhaokui
17. * 2018年1月31日
18. */
19. public class MongoDbUtils {
20.    
21.    private static MongoDatabase db;
22.     /**
23.      * 链接数据库
24.      *            
25.      * @param uri
26.      *            主机名 + 端口号
27.      * @param databaseName
28.      *            数据库名称
29.      *            
30.      */
31.     public static void connect(String uri, String databaseName) {
32.         MongoClient client = MongoClients.create(uri);
33.         db = client.getDatabase(databaseName);  
34.     }
35.    
36.     public static MongoCollection<Document> getCollection(String collectionName){
37.        return db.getCollection(collectionName);
38.     }
39.    
40.    
41.     /**
42.      * 插入一个文档
43.      *  
44.      * @param document
45.      *            文档
46.      */  
47.     public static void insert(String collectionName, Document document) {  
48.        getCollection(collectionName).insertOne(document);  
49.     }
50.     /**
51.      * 插入一个文档
52.      *  
53.      * @param document
54.      *            文档
55.      */  
56.     public static void insertv2(String collectionName, Document document) throws Exception {  
57.           try{
58.              getCollection(collectionName).insertOne(document);
59.           }catch(MongoWriteException e) {
60.              e.printStackTrace();
61.           }
62.     }  
63.    
64.     /**
65.      * 查找对象 - 根据主键_id
66.      *
67.      * @param collectionName
68.      * @param id
69.      * @return
70.      */
71.     public static Document findById(String collectionName, String id) {
72.         ObjectId _idobj = null;
73.         try {
74.             _idobj = new ObjectId(id);
75.         } catch (Exception e) {
76.             return null;
77.         }
78.         Document myDoc = getCollection(collectionName).find(Filters.eq("_id", _idobj)).first();
79.         return myDoc;
80.     }
81.   
82.     /**
83.      * 查询所有文档
84.      *  
85.      * @return 所有文档集合
86.      */  
87.     public static List<Document> findAll(String collectionName) {  
88.         List<Document> results = new ArrayList<Document>();  
89.         FindIterable<Document> iterables = getCollection(collectionName).find();  
90.         MongoCursor<Document> cursor = iterables.iterator();  
91.         while (cursor.hasNext()) {  
92.             results.add(cursor.next());  
93.         }  
94.   
95.         return results;  
96.     }  
97.   
98.     /**
99.      * 查询所有文档
100.      *  
101.      * @return 所有文档集合
102.      */  
103.     public static List<Document> findAll(String collectionName, Bson orderBy) {  
104.         List<Document> results = new ArrayList<Document>();  
105.         FindIterable<Document> iterables = getCollection(collectionName).find().sort(orderBy);  
106.         MongoCursor<Document> cursor = iterables.iterator();  
107.         while (cursor.hasNext()) {  
108.             results.add(cursor.next());  
109.         }  
110.   
111.         return results;  
112.     }
113.    
114.     /**
115.      * 根据条件查询
116.      *  
117.      * @param filter
118.      *            查询条件 //注意Bson的几个实现类，BasicDBObject, BsonDocument,
119.      *            BsonDocumentWrapper, CommandResult, Document, RawBsonDocument
120.      * @return 返回集合列表
121.      */  
122.     public static List<Document> findBy(String collectionName, Bson filter) {  
123.         List<Document> results = new ArrayList<Document>();  
124.         FindIterable<Document> iterables = getCollection(collectionName).find(filter);
125.         MongoCursor<Document> cursor = iterables.iterator();  
126.         while (cursor.hasNext()) {  
127.             results.add(cursor.next());  
128.         }  
129.   
130.         return results;  
131.     }  
132.    
133.     /**
134.      * 根据条件查询 + 排序
135.      *  
136.      * @param filter
137.      *            查询条件 //注意Bson的几个实现类，BasicDBObject, BsonDocument,
138.      *            BsonDocumentWrapper, CommandResult, Document, RawBsonDocument
139.      * @return 返回集合列表
140.      */  
141.     public static List<Document> findBy(String collectionName, Bson filter, Bson orderBy) {  
142.         List<Document> results = new ArrayList<Document>();  
143.         FindIterable<Document> iterables = getCollection(collectionName).find(filter).sort(orderBy);  
144.         MongoCursor<Document> cursor = iterables.iterator();  
145.         while (cursor.hasNext()) {  
146.             results.add(cursor.next());  
147.         }  
148.   
149.         return results;  
150.     }  
151.    
152.     public static List<Document> findBy(String collectionName, Bson filter, Bson orderBy, int pageSize) {  
153.         List<Document> results = new ArrayList<Document>();  
154.         FindIterable<Document> iterables = getCollection(collectionName).find(filter).sort(orderBy).limit(pageSize);  
155.         MongoCursor<Document> cursor = iterables.iterator();  
156.         while (cursor.hasNext()) {  
157.             results.add(cursor.next());  
158.         }  
159.         return results;  
160.     }  
161.    
162.     /** 统计数 */
163.     public static long getCount(String collectionName, Bson filter) {
164.         return getCollection(collectionName).countDocuments(filter);
165.     }
166.    
167.     /** 分页查询 */
168.     public static List<Document> findByPage(String collectionName, Bson filter, int pageNo, int pageSize) {
169.        List<Document> results = new ArrayList<Document>();  
170.         Bson orderBy = new BasicDBObject("_id", -1);
171.         MongoCursor<Document> cursor = getCollection(collectionName).find(filter).sort(orderBy).skip((pageNo - 1) * pageSize).limit(pageSize).iterator();
172.         while (cursor.hasNext()) {  
173.             results.add(cursor.next());  
174.         }
175.         return results;  
176.     }
177.    
178.     /** 分页查询+排序 */
179.     public static List<Document> findByPage(String collectionName, Bson filter, Bson orderBy, int pageNo, int pageSize) {
180.        List<Document> results = new ArrayList<Document>();  
181.         MongoCursor<Document> cursor = getCollection(collectionName).find(filter).sort(orderBy).skip((pageNo - 1) * pageSize).limit(pageSize).iterator();
182.         while (cursor.hasNext()) {  
183.             results.add(cursor.next());  
184.         }
185.         return results;  
186.     }
187.   
188.     /**
189.      * 更新查询到的第一个
190.      *  
191.      * @param filter
192.      *            查询条件
193.      * @param update
194.      *            更新文档
195.      * @return 更新结果
196.      */  
197.     public static UpdateResult updateOne(String collectionName, Bson filter, Bson update) {  
198.         UpdateResult result = getCollection(collectionName).updateOne(filter, update);  
199.   
200.         return result;  
201.     }  
202.   
203.     /**
204.      * 更新查询到的所有的文档
205.      *  
206.      * @param filter
207.      *            查询条件
208.      * @param update
209.      *            更新文档
210.      * @return 更新结果
211.      */  
212.     public static UpdateResult updateMany(String collectionName, Bson filter, Bson update) {  
213.         UpdateResult result = getCollection(collectionName).updateMany(filter, update);  
214.   
215.         return result;  
216.     }  
217.    
218.     /**
219.      * FIXME
220.      *
221.      * @param collectionName
222.      * @param id
223.      * @param newdoc
224.      * @return
225.      */
226.     public static Document updateById(String collectionName, String id, Document newdoc) {
227.         ObjectId _idobj = null;
228.         try {
229.             _idobj = new ObjectId(id);
230.         } catch (Exception e) {
231.             return null;
232.         }
233.         Bson filter = Filters.eq("_id", _idobj);
234.         // coll.replaceOne(filter, newdoc); // 完全替代
235.         getCollection(collectionName).updateOne(filter, new Document("$set", newdoc));
236.         return newdoc;
237.     }
238.   
239.     /**
240.      * 更新一个文档, 结果是replacement是新文档，老文档完全被替换
241.      *  
242.      * @param filter
243.      *            查询条件
244.      * @param replacement
245.      *            跟新文档
246.      */  
247.     public static void replace(String collectionName, Bson filter, Document replacement) {  
248.         getCollection(collectionName).replaceOne(filter, replacement);  
249.     }  
250.   
251.     /**
252.      * 根据条件删除一个文档
253.      *  
254.      * @param filter
255.      *            查询条件
256.      */  
257.     public static void deleteOne(String collectionName, Bson filter) {  
258.         getCollection(collectionName).deleteOne(filter);  
259.     }  
260.   
261.     /**
262.      * 根据条件删除多个文档
263.      *  
264.      * @param filter
265.      *            查询条件
266.      */  
267.     public static void deleteMany(String collectionName, Bson filter) {  
268.         getCollection(collectionName).deleteMany(filter);  
269.     }
270.       
271.     /**
272.      * 通过ID删除
273.      *
274.      * @param collectionName
275.      * @param id
276.      * @return
277.      */
278.     public static long deleteById(String collectionName, String id) {
279.        long count = 0;
280.         ObjectId _id = null;
281.         try {
282.             _id = new ObjectId(id);
283.         } catch (Exception e) {
284.             return 0;
285.         }
286.         Bson filter = Filters.eq("_id", _id);
287.         DeleteResult deleteResult = getCollection(collectionName).deleteOne(filter);
288.         count = deleteResult.getDeletedCount();
289.         return count;
290.     }
291.       
292. }

复制代码

 
翻译
搜索
复制

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。