编程技术是改变世界的力量。
本站
当前位置:网站首页 > 后端语言 > 正文

Java并行流:一次搞定多线程编程难题,让你的程序飞起来!

gowuye 2024-04-02 10:20 10 浏览 0 评论

前言

??在日常的工作中,为了提高程序的处理速度,充分利用多核处理器的性能,我们需要手动编写多线程代码。但是多线程编程非常复杂,容易出现死锁、竞态条件等问题,给我们带来了很大的困扰。而 Java 并行流则提供了一种更加简单、易用、安全的并发编程方式,可以让我们更加轻松地编写高效的并发程序。

使用多线程下载文件

public class MultiThreadExample {

    public static void main(String[] args) throws InterruptedException {

        List<String> urls = Arrays.asList(
            "https://example.com/file1.txt",
            "https://example.com/file2.txt",
            "https://example.com/file3.txt",
            "https://example.com/file4.txt",
            "https://example.com/file5.txt"
        );
        
        int threads = 5;
        int chunkSize = urls.size() / threads;
        int startIndex = 0;
        int endIndex = chunkSize;

        // 创建线程列表
        List<DownloadThread> downloadThreads = new ArrayList<>();

        // 启动多个线程进行文件下载
        for (int i = 0; i < threads; i++) {
            downloadThreads.add(new DownloadThread(urls, startIndex, endIndex));
            downloadThreads.get(i).start();
            startIndex += chunkSize;
            endIndex += chunkSize;
        }

        // 等待所有线程结束并汇总结果
        for (DownloadThread downloadThread : downloadThreads) {
            downloadThread.join();
        }

        System.out.println("文件下载完成");
    }
}

class DownloadThread extends Thread {
    private List<String> urls;
    private int start;
    private int end;

    public DownloadThread(List<String> urls, int start, int end) {
        this.urls = urls;
        this.start = start;
        this.end = end;
    }

    @Override
    public void run() {
        for (int i = start; i < end; i++) {
            HttpUtil.download(urls.get(i));
        }
    }
}
复制代码

??我们首先将要下载的文件 URL 存储在一个 List 中,然后为每个块创建了一个 DownloadThread 对象,并启动了多个线程进行下载操作。每个线程只负责处理 URL 的一个块,调用 HttpUtil.download 方法进行文件下载操作。最后,我们等待所有线程结束即可。

使用Fork/Join进行下载

  import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveAction;

public class ForkJoinExample {

    public static void main(String[] args) {
        List<String> urls = Arrays.asList(
            "https://example.com/file1.txt", 
            "https://example.com/file2.txt", 
            "https://example.com/file3.txt", 
            "https://example.com/file4.txt", 
            "https://example.com/file5.txt"
        );
        ForkJoinPool pool = new ForkJoinPool();
        pool.invoke(new DownloadAction(urls, 0, urls.size()));
        System.out.println("文件下载完成");
    }

    static class DownloadAction extends RecursiveAction {
        private List<String> urls;
        private int start;
        private int end;

        public DownloadAction(List<String> urls, int start, int end) {
            this.urls = urls;
            this.start = start;
            this.end = end;
        }

        @Override
        protected void compute() {
            if (end - start <= 1) {
                HttpUtil.download(urls.get(start));
                return;
            }

            int mid = (start + end) / 2;
            DownloadAction leftAction = new DownloadAction(urls, start, mid);
            DownloadAction rightAction = new DownloadAction(urls, mid, end);
            invokeAll(leftAction, rightAction);
        }
    }
}
复制代码

??在这个示例中,我们使用了 ForkJoin 框架来实现文件下载。首先,我们创建了一个 DownloadAction 类,继承自 RecursiveAction 类,表示一个递归操作。在 compute 方法中,我们首先判断当前操作的 URL 是否为一个,如果是,则直接调用 HttpUtil.download 方法进行文件下载。如果不是,则将 URL 列表分为两半,分别创建两个子任务进行处理,然后使用 invokeAll 方法将这两个子任务提交到线程池中并等待它们完成。

??在 main 方法中,我们首先创建了一个 ForkJoinPool 对象,然后调用 invoke 方法来执行 DownloadAction 操作。在这里,我们使用了默认的线程池,也可以根据需要创建自定义的线程池。

使用Java并行流

import java.util.Arrays;
import java.util.List;

public class ParallelStreamExample {

    public static void main(String[] args) {
        List<String> urls = Arrays.asList(
            "https://example.com/file1.txt", 
            "https://example.com/file2.txt", 
            "https://example.com/file3.txt", 
            "https://example.com/file4.txt", 
            "https://example.com/file5.txt"
        );
        urls.parallelStream().forEach(url -> HttpUtil.download(url));
        System.out.println("文件下载完成");
    }
}
复制代码

??在这个示例中,我们使用了 Java 并行流来实现文件下载。首先,我们创建了一个 URL 列表,然后使用 parallelStream 方法将其转换为并行流。接着,我们使用 forEach 方法遍历并行流中的每个 URL,并使用 HttpUtil.download 方法进行文件下载。在这个过程中,Java 会自动将并行流中的元素分配给多个线程并行执行,以提高程序的性能。

Java 并行流是什么?

??好了,相信看了上面的案例,应该对并行流有了一个简单的认识了吧。让原本又丑又长的代码,一下就变得眉清目秀了。所以那让我们进一步的来了解它吧。

??Java 并行流是 Java 8 中新增的一个特性,它提供了一种便捷的方式来进行并发计算。在传统的 Java 编程中,为了利用多核处理器的性能,我们需要手动编写多线程代码。但是多线程编程非常复杂,容易出现死锁、竞态条件等问题,给我们带来了很大的困扰。而 Java 并行流则提供了一种更加简单、易用、安全的并发编程方式,可以让我们更加轻松地编写高效的并发程序。

??Java 并行流的核心是将数据集合分成多个小块,然后在多个处理器上并行处理,最后将结果合并成一个结果集。使用 Java 并行流可以有效地利用多核处理器的性能,提升程序运行效率。此外,Java 并行流还提供了一系列的中间操作和终止操作,可以方便地进行数据筛选、映射、过滤等操作。

Java并行流的实现原理?

??Java 并行流是基于 Fork/Join 框架实现的,它使用了多线程来处理流操作。具体来说,Java 并行流的实现原理如下:

  1. 拆分数据

??当并行流操作开始时,数据会被拆分成多个小块。每个小块都会被分配给不同的线程去处理。

  1. 执行任务

??每个线程会独立地执行任务。线程会使用 fork/join 框架将自己的任务拆分成更小的子任务,并将这些子任务分配给其他线程。

  1. 合并结果

??当所有线程完成任务后,它们会将自己的结果合并到一起。这个过程类似于 reduce 操作,不同之处在于它是并行的。

??Java 并行流的是基于 Fork/Join 框架实现的,而Fork/Join 框架是 Java 7 引入的一个用于并行计算的框架,它基于工作窃取算法,可以将一个大任务拆分成多个小任务,每个线程独立地处理一个小任务。在 Java 8 中,通过对 Stream 接口的扩展,使得并行计算更加容易实现。

??需要注意的是,Java 并行流在执行操作时,会根据当前计算机的 CPU 核心数来确定并行线程的数量,如果并行线程数量过多,会造成过多的上下文切换,反而会降低程序的性能。因此,在使用并行流时需要注意控制并行线程的数量。

三种方式对比

?? 在文件下载这个例子中,我们使用了多线程、ForkJoin 框架和 Java 并行流三种方式来实现。我们来对比一下这三种方式的优缺点。

1. 多线程方式

优点:

  • 可以手动控制线程的数量,适用于对线程数量有特殊要求的场景。
  • 可以使用线程池来重用线程,减少线程创建和销毁的开销。
  • 可以使用 wait 和 notify 等机制来实现线程间的通信和协作。

缺点:

  • 需要手动编写线程的创建和销毁代码,代码复杂度较高。
  • 线程之间的协作和通信需要手动实现,容易出现死锁等问题。
  • 代码的可读性和可维护性较差。

2. ForkJoin 框架方式

优点:

  • 可以自动地将任务拆分成更小的子任务,并将子任务分配给多个线程并行执行,简化了代码实现。
  • 可以通过调整并行度来优化性能,提高代码的灵活性。
  • 可以使用默认的线程池或自定义的线程池来管理线程。

缺点:

  • 不适用于 IO 密集型操作,仅适用于 CPU 密集型操作。
  • 线程之间的协作和通信需要手动实现,容易出现死锁等问题。

3. Java 并行流方式

优点:

  • 可以使用函数式编程的方式简化代码实现,代码可读性较高。
  • 可以自动地将数据分配给多个线程并行处理,简化了代码实现。
  • 可以根据需要选择并行度来优化性能。
  • 可以通过流水线方式优化代码性能,提高代码的灵活性。

缺点:

  • 不适用于 IO 密集型操作,仅适用于 CPU 密集型操作。
  • 对于一些特殊的操作,例如排序和去重,可能需要手动调整代码才能使用并行流。

总结

??Java并行流可以让多线程编程变得更加简单易懂,减少编程中的并发问题,提高代码质量和可维护性。帮助开发人员更加轻松地实现任务并行,充分利用多核处理器的性能,加快程序的执行速度。但是虽然并行流有诸多优点,但是还需要根据具体场景来选择合适的方式。如果是 IO 密集型操作,我们应该使用多线程或者 Java NIO 等技术来实现;如果是 CPU 密集型操作,我们可以使用 ForkJoin 框架或者 Java 并行流来实现。

结尾

??如果觉得对你有帮助,可以多多评论,多多点赞哦,也可以到我的主页看看,说不定有你喜欢的文章,也可以随手点个关注哦,谢谢。

链接:https://juejin.cn/post/7221923392261734457

相关推荐

PHPMailer远程命令执行漏洞分析

摘要:PHPMailer是一个强大的PHP编写的邮件发送类,但近日被爆出远程命令执行漏洞,该漏洞实际上是什么,有何种影响,本文对该漏洞进行了分析及验证方法,并给出防护方案。0x00漏洞概要PHPMa...

「安全漏洞」DedeCMS-5.8.1 SSTI模板注入导致RCE

漏洞类型SSTIRCE利用条件影响范围应用漏洞概述2021年9月30日,国外安全研究人员StevenSeeley披露了最新的DedeCMS版本中存在的一处SQL注入漏洞以及一处SSTI导致的RCE...

回顾使用PHP原生发送电子邮件(终)文件附件

FileAttachments文件附件Fileattachmentsworkjustlikemixedemail,exceptthatadifferentcontenttyp...

php-fpm.conf &amp; php.ini 安全优化实践

0x01关于php其历史相对已经比较久远了,这里也就不废话了,属弱类型中一种解释型语言除了web开发以及写些简单的exp,暂未发现其它牛逼用途,暂以中小型web站点开发为主另外,低版本的php自身...

linux 安全配置 ossec 开源检测

linux安全配置ossec开源检测一:介绍主要功能有日志分析、完整性检查、rootkit检测、基于时间的警报和主动响应。除了具有入侵检测系统功能外,它还一般被用在SEM/SIM(安全事件管理(...

PHP使用PHPMailer发送验证码邮件的方法与调用逻辑

首先我们需要下载PHPMailer:https://github.com/PHPMailer/PHPMailer一般情况下我们只需要压缩包中的src文件夹中的文件,并保存至根目录即可:设置一个文件,如...

回顾使用PHP原生发送电子邮件(一)

IwishIcouldremembertheveryfirstemailmessageIeversent.Unfortunately,thetruthisthatI...

PHPMAILER实现PHP发邮件功能php实例

这篇文章主要为大家详细介绍了PHPMAILER实现PHP发邮件功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下本文实例为大家分享了PHPMAILER实现PHP发邮件功能的具体代码,供大家参考,具...

500道网络安全面试题集锦(附答案)

本篇文章内容为网络安全各个方向涉及的面试题,星数越多代表问题出现的几率越大,但是无论如何都无法覆盖所有的面试问题,更多的还是希望由点达面,查漏补缺,然后祝各位前程似锦,都能找到自己满意的工作!一、We...

网站放家里,随处看电影「Apache+php+ssl 安装和配置」

  使用5G网络,随处都可以看到放自己家里电脑的视频。这个功能很容易实现,不需要太多的专业知识,也不需要额外花钱。如果确实需要,最多花不到两百块钱买一台旧电脑放家里,做个网站,就能解决全部问题,Fre...

Windows2008中 Magic Winmail Server提权

MagicWinmailServer是安全易用全功能的邮件服务器软件,不仅支持SMTP/POP3/IMAP/Webmail/LDAP(公共地址簿)/多域/发信认证/反垃圾邮件/邮件过滤/邮件组...

利用PHPmailer发送邮件

早上帮朋友做一个收集客户联系方式的页面,要求能实时推送信息给管理员。刚开始想到做后台管理,因为时间紧,做后台是赶不上了。想过通过短信发送,成本太高,否决了。。。灵机一动,客户提交时直接把信息发送到邮箱...

phpmailer发送邮件

phpmailer发送邮件PHP内置的mail函数使用起来不够方便,另外受其他语言的影响,博主更偏好面向对象的包管理模式,因此phpmailer成为了我用PHP发送邮件的首选,这里分享给大家。库导入这...

PHP初级教程:读取输入

PHP读取输入:Form:?formaction="welcome.php"method="post">Name:(inputtype="text...

php filter 验证Email,Url,Ip格式

今天发现一个非常好用的函数东西,filter过滤器,用于验证和过滤来自非安全来源的数据,比如用户的输入。验证Email:$email='1234567@qq.com';if(!filter_v...

取消回复欢迎 发表评论: